隨筆-15  評論-8  文章-0  trackbacks-0
          Hadoop是IT行業一個新的熱點,是云計算的一個具體實現、Hadoop本身具有很高的技術含量,是IT工程師學習的首選!下面我們來詳細講講什么是Hadoop。

          完整hadoop講解視頻教程下載地址:
                                                        1、http://kuai.xunlei.com/d/CLCBYHQKJQNT
                                                        2、http://kuai.xunlei.com/d/CSMFERCHAGEE
          Hadoop是什么:

          Hadoop  = The Hadoop projects

          Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie


          Hadoop要解決的兩個問題:
          1、海量數據的存儲 -- HDFS
          2、海量數據的分析 -- MapReduce

          Hadoop發展的歷史:
          始于2002年的apache項目Nutch
          2003年Google發表了關于GFS的論文
          2004年Nutch的開發者開發了NDFS
          2004年Google發表了關于MapReduce的論文
          2005年MapR被引入了NDFS
          2006年改名為Hadoop,NDFS的創始人加入Yahoo,Yahoo成立了一個專門的小組發展Hadoop

          HDFS設計目標:
          1、Very large files

          2、Streaming data access
          write-once, read-many-times

          3、Commodity hardware

          HDFS架構:
          在Hadoop中,一個文件被劃分成大小固定的多個文件塊,分布的存儲在集群中的節點中


          Block:一個文件分塊,默認64M

          NameNode:保存整個文件系統的目錄信息,文件信息以及文件相應的分塊信息。

          DataNode:用于存儲Blocks

          HDFS的HA策略:NameNode一旦宕機,整個文件系統將無法工作。
                                 如果NameNode中的數據丟失,整個文件系統也就丟失了。
                                 2.x開始,HDFS支持NameNode的active-standy模式



           

          posted on 2012-08-22 22:09 小笨熊_bear 閱讀(4309) 評論(3)  編輯  收藏

          評論:
          # re: Hadoop是什么、它要解決的問題及HDFS的架構(提供完整視頻教程講解) 2012-08-30 01:02 | muxueqz
          話說最近blogjava的RSS輸出好亂啊  回復  更多評論
            
          # re: Hadoop是什么、它要解決的問題及HDFS的架構(提供完整視頻教程講解) 2012-09-17 11:01 | 俞靈
          好老呀, 和最新技術差別巨大  回復  更多評論
            
          # re: Hadoop是什么、它要解決的問題及HDFS的架構(提供完整視頻教程講解) 2012-09-24 16:56 | java狂人
          樓主還有其他的hadoop視頻教程嗎,求賜教
          在下的郵箱地址為weblogic@139.com
          謝謝。  回復  更多評論
            

          只有注冊用戶登錄后才能發表評論。


          網站導航:
           
          主站蜘蛛池模板: 连城县| 景东| 兴安盟| 吴忠市| 清水县| 巩义市| 和静县| 嵊泗县| 昌吉市| 台南市| 东乌珠穆沁旗| 南溪县| 福泉市| 陵川县| 高平市| 霍州市| 日照市| 蒙阴县| 河曲县| 溧阳市| 启东市| 杭锦旗| 城步| 巴南区| 锡林郭勒盟| 新巴尔虎右旗| 富川| 怀化市| 嘉荫县| 罗甸县| 徐州市| 东乌| 五原县| 明溪县| 林芝县| 呼图壁县| 上饶县| 怀远县| 汝州市| 晋宁县| 凯里市|