Hadoop项目框架

moyusisi

Hadoop相关项目的介绍

Hadoop

Hadoop是大数据的基础,它有4个模块 Hadoop Common, Hadoop Distributed File System (HDFS), Hadoop YARN和 Hadoop MapReduce

HDFS

分布式文件系统, 适合存储大文件, 不适合小文件, 它的原理这篇文章讲的比较详细

YARN

YARN(Yet Another Resource Negotiator), 任务调度和集群的资源管理, Hadoop2.0提供的革命性功能, 可参考这篇文章

MapReduce

MapReduce本身是谷歌推出的一个编程模型, 包括Map和Reduce两个过程.
比如要计算1到10的平方和, 耗时较多的是计算平方, 加和耗时较少, 那么可以把整个过程这么拆分:

Map, 即把计算平方的任务分给10台机器,每台机器分别计算平方, 然后Map的结果就是一个可迭代的集合, 就是这10个数的平方;
Reduce, 即把Map的结果迭代加和, 得到最终结果

Hadoop MapReduce是MapReduce的一个实现, 2.0之后推出了基于YARN的Hadoop MapReduce

非关系型数据库, 面向列存储, 理解成 Key->Value 的存储更形象, 有行键(RowKey), 列族(Colum Family), 限定符(qualifier)等概念
列名(Column)是由列族前缀和限定符(qualifier)连接而成, 如列族d有两个列(限定符):title和content, 则列名分别为d:title、d:content;
(row, column, version)唯一确定一个cell, 里面放着Value;
更多内容参考这里