敏捷、分布式、ALM過程自動化、企業(yè)應(yīng)用架構(gòu)
          posts - 14, comments - 0, trackbacks - 0, articles - 1
            BlogJava :: 首頁 :: 新隨筆 :: 聯(lián)系 :: 聚合  :: 管理

          硬件資源:

          三臺CentOS5.6虛擬機(jī)(Vmware

          本機(jī) windows7 64x

           

          基本資源配置:

          三臺虛擬機(jī)均是克隆自同一個鏡像

          已經(jīng)安裝了Java環(huán)境(jdk1.6.0_25

          Hadoop路徑在/usr/hadoop/hadoop-0.20.205.0

           

          操作步驟:

          1、機(jī)器名稱規(guī)范

          ip分別為128129130,將128設(shè)置為master,其他設(shè)置為slave

          修改

          /etc/sysconfig/network

          /etc/hosts

          兩處配置,名稱分別為hadoop-master\hadoop-slave01\hadoop-slave02

          注意:此處名稱最好不用使用下劃線,有可能引發(fā)namenode的啟動異常。

           

          2、修改Hadoop配置 

          master節(jié)點(diǎn)的conf中修改masterslave文件,分別為機(jī)器的ip地址

           

          修改master節(jié)點(diǎn)的conf中:

          core-site.xml

          <property>

          <name>fs.default.name</name>

          <value>hdfs://ip-master:9000</value>

          </property>

           

          mapred-site.xml

          <property>

          <name>mapred.job.tracker</name>                                   

          <value>master:9001</value>                                

          </property>

           

          hdfs-site.xm

          <property>

          <name>dfs.replication</name>

          <value>2</value>

          </property>

          注意此處的端口號均為默認(rèn)。

           

           

          3、建立m-s之間的ssh連接

          首先masterslave機(jī)器都需要進(jìn)行ssh信任文件生成,執(zhí)行如下命令:

          $ ssh-keygen -t rsa

          中間需要輸入的地方直接回車,接受缺省值即可

           

          由于使用root用戶登錄,所以密鑰文件生成在 /root/.ssh/文件夾下,存有一對密鑰id_dsaid_dsa.pub。

          此處id_dsa(私鑰)必須為其他用戶不可讀,所以文件屬性應(yīng)當(dāng)是600

           

          master機(jī)器執(zhí)行:

          id_dsa.pub(公鑰)復(fù)制為 authorized_keys

          $ cp id_dsa.pub authorized_keys

          如果是多臺機(jī)器需要,無密碼登陸,則各自機(jī)器產(chǎn)生公鑰追加到authorized_keys即可.

           

          使用scp協(xié)議覆蓋slave端的密鑰文件夾,使得slave機(jī)器信任來自master的連接:

          $ scp /root/.ssh/* ip-slave:/root/.ssh

           

           

          4、啟動服務(wù) 

          建議將$HADOOP_HOME/bin下的所有文件給與執(zhí)行權(quán)限:

          $ chmod 777 bin

           

          master作為namenod需要執(zhí)行如下腳本:

          $HADOOP_HOME/bin/hadoop namenode –format

           

          完成后執(zhí)行 $HADOOP_HOME/bin/start-all.sh

           

          5、問題檢查

          Hadoop根目錄下的logs文件中,檢查各個服務(wù)日志的啟動情況

           

           

          6、其他情況說明:

          Q: $HADOOP_HOME is deprecated

          A: 基本不會產(chǎn)生任何影響。由于腳本啟動時設(shè)置了該環(huán)境變量,就會提示用戶原有環(huán)境變量失效。可以取消環(huán)境變量設(shè)置,或者直接去bin/hadoop中找到這句話,去掉即可

           

          Q: 無效的選項(xiàng) -jvm / Unrecognized option: -jvm

          A: 在使用root用戶登錄時 bin/hadoop 腳本就會進(jìn)行判斷,加上-jvm參數(shù)。此處是為了進(jìn)入jsvchttp://commons.apache.org/daemon/jsvc.html),此處并不確定是否bug,也不再進(jìn)行詳細(xì)的追溯,解決方法就是進(jìn)入 bin/hadoop 腳本中 找到 jvm 參數(shù)并去掉。

           

           

           

           

           

           

           

          主站蜘蛛池模板: 古丈县| 合肥市| 襄汾县| 寿阳县| 石林| 仲巴县| 江山市| 天柱县| 文成县| 邛崃市| 都安| 抚顺市| 阳山县| 革吉县| 通渭县| 青神县| 玉溪市| 龙陵县| 平昌县| 宁远县| 揭阳市| 嵊泗县| 偏关县| 珲春市| 含山县| 永和县| 通海县| 尉氏县| 东光县| 禄丰县| 闸北区| 彝良县| 监利县| 浮山县| 鹤峰县| 雷波县| 大港区| 无棣县| 老河口市| 屏东市| 兖州市|