Hadoop環(huán)境搭建注意事項之二安裝目錄結(jié)構

          目錄結(jié)構
          由于Hadoop要求所有機器上hadoop的部署目錄結(jié)構要相同,并且都有一個相同的用戶名的帳戶
          我的三臺機器上是這樣的:都有一個dbrg的帳戶,主目錄是/home/dbrg
          Hadoop部署目錄結(jié)構如下:/home/dbrg/HadoopInstall,所有的hadoop版本放在這個目錄中。
          將hadoop0.12.0壓縮包解壓至HadoopInstall中,為了方便以后升級,建議建立一個鏈接指向要使用的hadoop版本,不妨設為hadoop
          [dbrg@dbrg-1:HadoopInstall]$ln  -s  hadoop0.12.0   hadoop
          這樣一來,所有的配置文件都在/hadoop/conf/目錄中,所有執(zhí)行程序都在/hadoop/bin目錄中。
          但是由于上述目錄中hadoop的配置文件和hadoop的安裝目錄是放在一起的,這樣一旦日后升級hadoop版本的時候所有的配置文件都會被覆蓋,因此建議將配置文件與安裝目錄分離, 一種比較好的方法就是建立一個存放配置文件的目錄,/home/dbrg/HadoopInstall/hadoop-config/,然后將 /hadoop/conf/目錄中的hadoop_site.xml,slaves,hadoop_env.sh三個文件拷貝到hadoop- config/目錄中(這個問題很奇怪,在官網(wǎng)上的
          Getting Started With Hadoop中 說是只需要拷貝這個三個文件到自己創(chuàng)建的目錄就可以了,但我在實際配置的時候發(fā)現(xiàn)還必須把masters這個文件也拷貝到hadoop-conf/目錄中 才行,不然啟動Hadoop的時候就會報錯說找不到masters這個文件),并指定環(huán)境變量$HADOOP_CONF_DIR指向該目錄。環(huán)境變量在 /home/dbrg/.bashrc和/etc/profile中設定。
          綜上所述,為了方便以后升級版本,我們需要做到配置文件與安裝目錄分離,并通過設定一個指向我們要使用的版本的hadoop的鏈接,這樣可以減少我們對配置文件的維護

          posted on 2012-10-16 22:09 陳夢琪 閱讀(434) 評論(0)  編輯  收藏


          只有注冊用戶登錄后才能發(fā)表評論。


          網(wǎng)站導航:
           
          <2012年10月>
          30123456
          78910111213
          14151617181920
          21222324252627
          28293031123
          45678910

          導航

          統(tǒng)計

          常用鏈接

          留言簿(1)

          隨筆檔案

          搜索

          最新評論

          閱讀排行榜

          評論排行榜

          主站蜘蛛池模板: 杭锦后旗| 连江县| 铜陵市| 隆子县| 隆尧县| 黑水县| 和田县| 霍林郭勒市| 曲麻莱县| 阿鲁科尔沁旗| 巴楚县| 和硕县| 临江市| 洪湖市| 广昌县| 禹城市| 建德市| 桦南县| 宜兰市| 澄江县| 安义县| 阿鲁科尔沁旗| 任丘市| 廊坊市| 海口市| 江阴市| 永胜县| 武邑县| 仁寿县| 海城市| 重庆市| 长汀县| 永顺县| 班戈县| 南京市| 三门县| 肇庆市| 保靖县| 宁乡县| 远安县| 阳朔县|