隨筆-15  評論-8  文章-0  trackbacks-0
          Hadoop是IT行業一個新的熱點,是云計算的一個具體實現、Hadoop本身具有很高的技術含量,是IT工程師學習的首選!下面我們來詳細講講什么是Hadoop。

          完整hadoop講解視頻教程下載地址:
                                                        1、http://kuai.xunlei.com/d/CLCBYHQKJQNT
                                                        2、http://kuai.xunlei.com/d/CSMFERCHAGEE
          Hadoop是什么:

          Hadoop  = The Hadoop projects

          Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie


          Hadoop要解決的兩個問題:
          1、海量數據的存儲 -- HDFS
          2、海量數據的分析 -- MapReduce

          Hadoop發展的歷史:
          始于2002年的apache項目Nutch
          2003年Google發表了關于GFS的論文
          2004年Nutch的開發者開發了NDFS
          2004年Google發表了關于MapReduce的論文
          2005年MapR被引入了NDFS
          2006年改名為Hadoop,NDFS的創始人加入Yahoo,Yahoo成立了一個專門的小組發展Hadoop

          HDFS設計目標:
          1、Very large files

          2、Streaming data access
          write-once, read-many-times

          3、Commodity hardware

          HDFS架構:
          在Hadoop中,一個文件被劃分成大小固定的多個文件塊,分布的存儲在集群中的節點中


          Block:一個文件分塊,默認64M

          NameNode:保存整個文件系統的目錄信息,文件信息以及文件相應的分塊信息。

          DataNode:用于存儲Blocks

          HDFS的HA策略:NameNode一旦宕機,整個文件系統將無法工作。
                                 如果NameNode中的數據丟失,整個文件系統也就丟失了。
                                 2.x開始,HDFS支持NameNode的active-standy模式



           

          posted on 2012-09-21 00:08 小笨熊_bear 閱讀(2621) 評論(0)  編輯  收藏

          只有注冊用戶登錄后才能發表評論。


          網站導航:
           
          主站蜘蛛池模板: 同江市| 腾冲县| 阿拉善左旗| 左云县| 亳州市| 灯塔市| 榆林市| 广东省| 炎陵县| 盘山县| 江口县| 莎车县| 固始县| 柳江县| 泰宁县| 桦川县| 彩票| 鹤岗市| 准格尔旗| 绥芬河市| 定州市| 河北区| 类乌齐县| 堆龙德庆县| 新源县| 南木林县| 新化县| 嘉祥县| 长春市| 赤水市| 蛟河市| 九寨沟县| 松原市| 忻城县| 深州市| 宣恩县| 义乌市| 中山市| 剑河县| 宁强县| 军事|