隨筆-15  評論-8  文章-0  trackbacks-0
          Hadoop是IT行業一個新的熱點,是云計算的一個具體實現、Hadoop本身具有很高的技術含量,是IT工程師學習的首選!下面我們來詳細講講什么是Hadoop。

          完整hadoop講解視頻教程下載地址:
                                                        1、http://kuai.xunlei.com/d/CLCBYHQKJQNT
                                                        2、http://kuai.xunlei.com/d/CSMFERCHAGEE
          Hadoop是什么:

          Hadoop  = The Hadoop projects

          Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie


          Hadoop要解決的兩個問題:
          1、海量數據的存儲 -- HDFS
          2、海量數據的分析 -- MapReduce

          Hadoop發展的歷史:
          始于2002年的apache項目Nutch
          2003年Google發表了關于GFS的論文
          2004年Nutch的開發者開發了NDFS
          2004年Google發表了關于MapReduce的論文
          2005年MapR被引入了NDFS
          2006年改名為Hadoop,NDFS的創始人加入Yahoo,Yahoo成立了一個專門的小組發展Hadoop

          HDFS設計目標:
          1、Very large files

          2、Streaming data access
          write-once, read-many-times

          3、Commodity hardware

          HDFS架構:
          在Hadoop中,一個文件被劃分成大小固定的多個文件塊,分布的存儲在集群中的節點中


          Block:一個文件分塊,默認64M

          NameNode:保存整個文件系統的目錄信息,文件信息以及文件相應的分塊信息。

          DataNode:用于存儲Blocks

          HDFS的HA策略:NameNode一旦宕機,整個文件系統將無法工作。
                                 如果NameNode中的數據丟失,整個文件系統也就丟失了。
                                 2.x開始,HDFS支持NameNode的active-standy模式



           

          posted on 2012-08-22 22:09 小笨熊_bear 閱讀(4313) 評論(3)  編輯  收藏

          評論:
          # re: Hadoop是什么、它要解決的問題及HDFS的架構(提供完整視頻教程講解) 2012-08-30 01:02 | muxueqz
          話說最近blogjava的RSS輸出好亂啊  回復  更多評論
            
          # re: Hadoop是什么、它要解決的問題及HDFS的架構(提供完整視頻教程講解) 2012-09-17 11:01 | 俞靈
          好老呀, 和最新技術差別巨大  回復  更多評論
            
          # re: Hadoop是什么、它要解決的問題及HDFS的架構(提供完整視頻教程講解) 2012-09-24 16:56 | java狂人
          樓主還有其他的hadoop視頻教程嗎,求賜教
          在下的郵箱地址為weblogic@139.com
          謝謝。  回復  更多評論
            

          只有注冊用戶登錄后才能發表評論。


          網站導航:
           
          主站蜘蛛池模板: 塔城市| 马公市| 浙江省| 容城县| 山丹县| 奉新县| 富顺县| 滨海县| 南江县| 天水市| 客服| 文水县| 昔阳县| 瑞安市| 北宁市| 翼城县| 天镇县| 沙雅县| 田林县| 高青县| 友谊县| 吴桥县| 泸定县| 巴彦淖尔市| 青阳县| 酉阳| 南昌市| 惠水县| 怀远县| 梁平县| 疏勒县| 长岭县| 恩施市| 申扎县| 新和县| 连山| 同仁县| 都兰县| 合水县| 庆城县| 左贡县|