聶永的博客

有關(guān)Hadoop在Linux下面部署的文章，很多，一搜一大把，這里簡單略過，把注意事項(xiàng)以及實(shí)際中所遇到問題，簡單提一下。hadoop 為1.0.2，Centos為6.2，虛擬機(jī)為Oracle VM VirtualBox 4.1.12。

前置條件

1. 本機(jī)名稱為  namenode
2. 在 /etc/hosts 增加 namenode/datanode的映射
   eg：
   192.168.2.31 namenode
   192.168.2.31 datanode
3. ssh namenode
   ssh datanode
   可以無密碼登陸，登陸成功后，退出即可。
4. 切換到hadoop目錄下
   #cd /usr/java/hadoop
   下面的一切操作都是以此為基礎(chǔ)

部署步驟

1. 下載 hadoop 1.0.2解壓到 /usr/java/ 目錄下，解壓目錄為hadoop 1.0.2，重命名為hadoop
       #tar xvf hadoop*.tra.gz;mv hadoop* hadoop
2. 設(shè)置conf/hadoop-env.sh
   export JAVA_HOME=/usr/java/jdk1.6.0_31
3. #cp -rf src/core/core-default.xml conf/core-site.xml;vi conf/core-site.xml
   修改fs.default.name為hdfs://namenode:9000/
4. #cp -rf src/hdfs/hdfs-default.xml conf/hdfs-site.xml;vi conf/hdfs-site.xml
   修改dfs.replication設(shè)置其數(shù)值為1
5. #cp -rf src/mapred/mapred-default.xml conf/mapred-site.xml;vi conf/mapred-site.xml
   設(shè)置mapred.job.tracker為 namenode:9001
6. 編輯主節(jié)點(diǎn)
   #vi conf/masters
   填寫其值為 namenode 即可
7. 編輯從節(jié)點(diǎn)
   #vi conf/slaves
   192.168.2.31 datanode
   192.168.2.31 namenode
   
   上面IP為CentOS中自動(dòng)獲取的IP，namenode 和 datanode ，雖對(duì)應(yīng)IP一致，特意區(qū)別之。
8. 格式化文件系統(tǒng)
   #bin/hadoop namenode –format
9. 啟動(dòng)Hadoop
   #bin/start-all.sh
10. #jps
    輸入java版本的PS命令jps，查看hadoop啟動(dòng)的JVM進(jìn)程，回車后，會(huì)看到類似于:

    [root@namenode ~]# jps
    2764 DataNode
    2866 SecondaryNameNode
    2952 JobTracker
    2666 NameNode
    3061 TaskTracker
    3790 Jps

    只要5個(gè)JVM進(jìn)程（Namenode，Datanode，Jobtracker，TaskTracker，SecondaryNameNode）都啟動(dòng)，說明hadoop正常啟動(dòng)了。
11. Datanode無法啟動(dòng)一個(gè)錯(cuò)誤
    hadoop/logs目錄下存放相關(guān)日志輸出
    #cat hadoop-root-datanode-namenode.log
    大致可以看到
    ERROR org.apache.hadoop.dfs.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/test/dfs/data: namenode namespaceID = 343825810; datanode namespaceID = 233853810
    修改：
    #vi /home/test/dfs/name/current/VERSION
    namespaceID=343825810
    保存退出，關(guān)閉hadoop，然后重啟
    #bin/stop-all.sh;bin/start-all.sh
12. 在Windows的 c:\WINDOWS\system32\drivers\etc\hosts 文件中，添加映射192.168.2.31 datanode
    192.168.2.31 namenode
    保存退出即可
    

本文單節(jié)點(diǎn)hadoop配置打包地址：下載地址，可以作為參考。

后面將說一下在Windows Eclipse中遠(yuǎn)程調(diào)試Hadoop MapReduce任務(wù)。