Hadoop是Apache的一個(gè)項(xiàng)目(http://hadoop.apache.org/),它是一個(gè)實(shí)現(xiàn)了MapReduce計(jì)算模型的可以運(yùn)用于大型集群并行計(jì)算的分布式并行計(jì)算編程框架。

目前，整個(gè)Hadoop家族由以下幾個(gè)子項(xiàng)目組成：

Hadoop Common
Hadoop體系最底層的一個(gè)模塊，為Hadoop各子項(xiàng)目提供各種工具，如：配置文件和日志操作等。

Avro
Avro是doug cutting主持的RPC項(xiàng)目，有點(diǎn)類似Google的protobuf和Facebook的thrift。avro用來做以后hadoop的RPC，使hadoop的RPC模塊通信速度更快、數(shù)據(jù)結(jié)構(gòu)更緊湊。

Chukwa
Chukwa是基于Hadoop的大集群監(jiān)控系統(tǒng)，由yahoo貢獻(xiàn)。

HBase
基于Hadoop Distributed File System，是一個(gè)開源的，基于列存儲模型的分布式數(shù)據(jù)庫。

HDFS
分布式文件系統(tǒng)

Hive
hive類似CloudBase，也是基于hadoop分布式計(jì)算平臺上的提供data warehouse的sql功能的一套軟件。使得存儲在hadoop里面的海量數(shù)據(jù)的匯總，即席查詢簡單化。hive提供了一套QL的查詢語言，以sql為基礎(chǔ)，使用起來很方便。

MapReduce
實(shí)現(xiàn)了MapReduce編程框架

Pig
Pig是SQL-like語言，是在MapReduce上構(gòu)建的一種高級查詢語言，把一些運(yùn)算編譯進(jìn)MapReduce模型的Map和Reduce中，并且用戶可以定義自己的功能。Yahoo網(wǎng)格運(yùn)算部門開發(fā)的又一個(gè)克隆Google的項(xiàng)目Sawzall。

ZooKeeper
Zookeeper是Google的Chubby一個(gè)開源的實(shí)現(xiàn)。它是一個(gè)針對大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)，提供的功能包括：配置維護(hù)、名字服務(wù)、分布式同步、組服務(wù)等。ZooKeeper的目標(biāo)就是封裝好復(fù)雜易出錯(cuò)的關(guān)鍵服務(wù)，將簡單易用的接口和性能高效、功能穩(wěn)定的系統(tǒng)提供給用戶。