Hadoop環(huán)境搭建注意事項之二安裝目錄結(jié)構(gòu)

          目錄結(jié)構(gòu)
          由于Hadoop要求所有機器上hadoop的部署目錄結(jié)構(gòu)要相同,并且都有一個相同的用戶名的帳戶。
          我的三臺機器上是這樣的:都有一個dbrg的帳戶,主目錄是/home/dbrg
          Hadoop部署目錄結(jié)構(gòu)如下:/home/dbrg/HadoopInstall,所有的hadoop版本放在這個目錄中。
          將hadoop0.12.0壓縮包解壓至HadoopInstall中,為了方便以后升級,建議建立一個鏈接指向要使用的hadoop版本,不妨設(shè)為hadoop
          [dbrg@dbrg-1:HadoopInstall]$ln  -s  hadoop0.12.0   hadoop
          這樣一來,所有的配置文件都在/hadoop/conf/目錄中,所有執(zhí)行程序都在/hadoop/bin目錄中。
          但是由于上述目錄中hadoop的配置文件和hadoop的安裝目錄是放在一起的,這樣一旦日后升級hadoop版本的時候所有的配置文件都會被覆蓋,因此建議將配置文件與安裝目錄分離, 一種比較好的方法就是建立一個存放配置文件的目錄,/home/dbrg/HadoopInstall/hadoop-config/,然后將 /hadoop/conf/目錄中的hadoop_site.xml,slaves,hadoop_env.sh三個文件拷貝到hadoop- config/目錄中(這個問題很奇怪,在官網(wǎng)上的
          Getting Started With Hadoop中 說是只需要拷貝這個三個文件到自己創(chuàng)建的目錄就可以了,但我在實際配置的時候發(fā)現(xiàn)還必須把masters這個文件也拷貝到hadoop-conf/目錄中 才行,不然啟動Hadoop的時候就會報錯說找不到masters這個文件),并指定環(huán)境變量$HADOOP_CONF_DIR指向該目錄。環(huán)境變量在 /home/dbrg/.bashrc和/etc/profile中設(shè)定。
          綜上所述,為了方便以后升級版本,我們需要做到配置文件與安裝目錄分離,并通過設(shè)定一個指向我們要使用的版本的hadoop的鏈接,這樣可以減少我們對配置文件的維護。

          posted on 2012-10-16 22:09 陳夢琪 閱讀(434) 評論(0)  編輯  收藏


          只有注冊用戶登錄后才能發(fā)表評論。


          網(wǎng)站導(dǎo)航:
           
          <2012年10月>
          30123456
          78910111213
          14151617181920
          21222324252627
          28293031123
          45678910

          導(dǎo)航

          統(tǒng)計

          常用鏈接

          留言簿(1)

          隨筆檔案

          搜索

          最新評論

          閱讀排行榜

          評論排行榜

          主站蜘蛛池模板: 武夷山市| 太白县| 五台县| 婺源县| 微山县| 朔州市| 方城县| 丹棱县| 闻喜县| 灵宝市| 宣汉县| 越西县| 南宫市| 富川| 黄骅市| 德州市| 阜宁县| 和顺县| 湾仔区| 康乐县| 简阳市| 仙游县| 成安县| 武隆县| 上高县| 峨边| 丹巴县| 曲阳县| 兴国县| 尉犁县| 利津县| 澄江县| 万全县| 抚顺市| 咸宁市| 凌云县| 类乌齐县| 香港| 大新县| 安康市| 永寿县|