敏捷、分布式、ALM過程自動化、企業應用架構
          posts - 14, comments - 0, trackbacks - 0, articles - 1
            BlogJava :: 首頁 :: 新隨筆 :: 聯系 :: 聚合  :: 管理

          硬件資源:

          三臺CentOS5.6虛擬機(Vmware

          本機 windows7 64x

           

          基本資源配置:

          三臺虛擬機均是克隆自同一個鏡像

          已經安裝了Java環境(jdk1.6.0_25

          Hadoop路徑在/usr/hadoop/hadoop-0.20.205.0

           

          操作步驟:

          1、機器名稱規范

          ip分別為128129130,將128設置為master,其他設置為slave

          修改

          /etc/sysconfig/network

          /etc/hosts

          兩處配置,名稱分別為hadoop-master\hadoop-slave01\hadoop-slave02

          注意:此處名稱最好不用使用下劃線,有可能引發namenode的啟動異常。

           

          2、修改Hadoop配置 

          master節點的conf中修改masterslave文件,分別為機器的ip地址

           

          修改master節點的conf中:

          core-site.xml

          <property>

          <name>fs.default.name</name>

          <value>hdfs://ip-master:9000</value>

          </property>

           

          mapred-site.xml

          <property>

          <name>mapred.job.tracker</name>                                   

          <value>master:9001</value>                                

          </property>

           

          hdfs-site.xm

          <property>

          <name>dfs.replication</name>

          <value>2</value>

          </property>

          注意此處的端口號均為默認。

           

           

          3、建立m-s之間的ssh連接

          首先masterslave機器都需要進行ssh信任文件生成,執行如下命令:

          $ ssh-keygen -t rsa

          中間需要輸入的地方直接回車,接受缺省值即可

           

          由于使用root用戶登錄,所以密鑰文件生成在 /root/.ssh/文件夾下,存有一對密鑰id_dsaid_dsa.pub

          此處id_dsa(私鑰)必須為其他用戶不可讀,所以文件屬性應當是600

           

          master機器執行:

          id_dsa.pub(公鑰)復制為 authorized_keys

          $ cp id_dsa.pub authorized_keys

          如果是多臺機器需要,無密碼登陸,則各自機器產生公鑰追加到authorized_keys即可.

           

          使用scp協議覆蓋slave端的密鑰文件夾,使得slave機器信任來自master的連接:

          $ scp /root/.ssh/* ip-slave:/root/.ssh

           

           

          4、啟動服務 

          建議將$HADOOP_HOME/bin下的所有文件給與執行權限:

          $ chmod 777 bin

           

          master作為namenod需要執行如下腳本:

          $HADOOP_HOME/bin/hadoop namenode –format

           

          完成后執行 $HADOOP_HOME/bin/start-all.sh

           

          5、問題檢查

          Hadoop根目錄下的logs文件中,檢查各個服務日志的啟動情況

           

           

          6、其他情況說明:

          Q: $HADOOP_HOME is deprecated

          A: 基本不會產生任何影響。由于腳本啟動時設置了該環境變量,就會提示用戶原有環境變量失效。可以取消環境變量設置,或者直接去bin/hadoop中找到這句話,去掉即可

           

          Q: 無效的選項 -jvm / Unrecognized option: -jvm

          A: 在使用root用戶登錄時 bin/hadoop 腳本就會進行判斷,加上-jvm參數。此處是為了進入jsvchttp://commons.apache.org/daemon/jsvc.html),此處并不確定是否bug,也不再進行詳細的追溯,解決方法就是進入 bin/hadoop 腳本中 找到 jvm 參數并去掉。

           

           

           

           

           

           

           

          主站蜘蛛池模板: 九龙坡区| 玉田县| 肃宁县| 江孜县| 麻城市| 福安市| 墨江| 清流县| 海南省| 遂川县| 雷波县| 阳曲县| 平湖市| 清流县| 朝阳县| 大庆市| 遂溪县| 错那县| 临沭县| 钦州市| 七台河市| 宁国市| 娄烦县| 康定县| 菏泽市| 牡丹江市| 曲周县| 周口市| 西青区| 岑溪市| 汉沽区| 新郑市| 开远市| 屏南县| 永顺县| 林周县| 错那县| 喀什市| 台北市| 乌拉特中旗| 嵊泗县|