Hadoop環(huán)境搭建注意事項之二安裝目錄結(jié)構
目錄結(jié)構
由于Hadoop要求所有機器上hadoop的部署目錄結(jié)構要相同,并且都有一個相同的用戶名的帳戶。
我的三臺機器上是這樣的:都有一個dbrg的帳戶,主目錄是/home/dbrg
Hadoop部署目錄結(jié)構如下:/home/dbrg/HadoopInstall,所有的hadoop版本放在這個目錄中。
將hadoop0.12.0壓縮包解壓至HadoopInstall中,為了方便以后升級,建議建立一個鏈接指向要使用的hadoop版本,不妨設為hadoop
[dbrg@dbrg-1:HadoopInstall]$ln -s hadoop0.12.0 hadoop
這樣一來,所有的配置文件都在/hadoop/conf/目錄中,所有執(zhí)行程序都在/hadoop/bin目錄中。
但是由于上述目錄中hadoop的配置文件和hadoop的安裝目錄是放在一起的,這樣一旦日后升級hadoop版本的時候所有的配置文件都會被覆蓋,因此建議將配置文件與安裝目錄分離, 一種比較好的方法就是建立一個存放配置文件的目錄,/home/dbrg/HadoopInstall/hadoop-config/,然后將 /hadoop/conf/目錄中的hadoop_site.xml,slaves,hadoop_env.sh三個文件拷貝到hadoop- config/目錄中(這個問題很奇怪,在官網(wǎng)上的Getting Started With Hadoop中 說是只需要拷貝這個三個文件到自己創(chuàng)建的目錄就可以了,但我在實際配置的時候發(fā)現(xiàn)還必須把masters這個文件也拷貝到hadoop-conf/目錄中 才行,不然啟動Hadoop的時候就會報錯說找不到masters這個文件),并指定環(huán)境變量$HADOOP_CONF_DIR指向該目錄。環(huán)境變量在 /home/dbrg/.bashrc和/etc/profile中設定。
綜上所述,為了方便以后升級版本,我們需要做到配置文件與安裝目錄分離,并通過設定一個指向我們要使用的版本的hadoop的鏈接,這樣可以減少我們對配置文件的維護。