——IT 進行時(Email & MSN:zhengxianquan AT hotmail.com)
說在前面的話: 作為一名技術人員,喜歡通過自己的實戰去學習,也養成了寫學習筆記的習慣。個人做企業應用更多,也涉及TB級別的非結構化數據,對于Hadoop倒是第一次接觸,分布式計算總歸有用武之地。但這個筆記只能說是自己的盲學,就是簡單的看看。
Keywords:Hadoop; HDFS; 學習筆記
目錄:
1. 準備工作 2
1.1. Supported Platforms 2
1.2. Hadoop需要的基礎東西 2
1.3. 安裝Cygwin注意事項 2
2. 單機上配置過程 3
2.1. 配置SSH 3
2.1.1. 配置服務 3
2.1.2. 啟動Cygwin sshd服務 4
2.1.3. Setup authorization keys 5
2.2. 修訂/配置/conf/core-site.xml 7
2.3. 修訂/配置/conf/mapred-site.xml 9
2.4. 修訂/配置\conf\masters和slaves 9
2.5. 修訂/配置\conf\hadoop-env.sh 9
2.6. 其他數據節點類似,重復即可 10
3. 格式化及啟動 10
3.1. 啟動命令 10
3.2. 如何驗證啟動成功 11
4. 使用及開發 12
4.1. 常用命令行使用方法 12
4.2. 可以通過瀏覽器訪問 15
5. FAQ 16
5.1. 為什么啟動不了? 16
5.2. 配置文件可能導致的問題 17
5.3. JobTracker一直有問題? 19
5.4. 如何驗證配置并啟動成功? 19
6. 常用命令 20
7. 參考 21