Hadoop學習筆記之Minimal Centos系統安裝
前言
開始接觸Hadoop,目前最新版本為1.0.2,運行在Linux環境下,Windows下安裝Cygwin模擬Linux環境不太感興趣,那樣離真實環境有些太遠,不太適合。
有關MapReduce理論什么的,這里暫時不會涉及,把安裝過程中的步驟記錄下來,最終在虛擬機的幫助下部署一個namenode + 若干個datanode,可以在Windows Eclipse下遠程調試。
前置條件
- Oracle VM VirtualBox (免費開源,不用使用盜版以及有些弱弱的Vmware Player)
本文使用4.1.12版本
注意事項:若宿主機為32位,默認情況下不能安裝64位系統 - Centos 6.2 最新版,這里選擇國內網易的鏡像地址:http://mirrors.163.com/centos/6.2/isos/i386/
本文使用CentOS-6.2-i386-minimal.iso,最小安裝包,284M左右,下載地址:
http://mirrors.163.com/centos/6.2/isos/i386/CentOS-6.2-i386-minimal.iso
安裝之后,進行簡單設置即可。
開始工作
- 在VirtualBox中安裝Centos 6.2
這一步沒什么可說的
注意網絡連接設置為橋接模式,可以自動通過宿主機正常連接網絡了。 - 必要設置
1)。最小化Centos安裝之后,很多組件都是沒有的,優先啟動網絡:
#ifconfig eth0 up;dhclient eth0
2)。設置開機自動啟動網絡連接:
#vi /etc/sysconfig/network-scripts/ifcfg-eth0
檢測一下,是否存在以下內容,若無,添加,保存退出即可。
ONBOOT=yes
BOOTPROTO=dhcp
3)。添加機器別名:
#vi /etc/sysconfig/network
保證要有:
NETWORKING=yes
HOSTNAME=namenode
保存退出即可
4)。安裝必須組件
#yum install vim wget zip unzip man gcc make setuptool
5)。設置網絡別名映射記錄
# vi /etc/hosts
10.95.20.168 namenode
保存退出
6)。修改 SELINUX
#vi /etc/selinux/config
設置SELINUX=disabled,保存退出
7)。關閉防火墻
/sbin/service iptables stop
設置開機不啟動
#chkconfig --level 35 iptables off - SSH設置,無密碼SSH訪問
#ssh-keygen -t rsa
一路回車即可
#cd /root/.ssh;cat id_rsa.pub > authorized_keys
測試登陸自身節點
#ssh namenode
系統會詢問是否需要保存密碼,輸入yes即可
登陸成功之后,需要退出
#exit
SSH為hadoop連接namenode/datanode使用 - 安裝JDK
從官網下載32版本的linux版本,建議安裝在/usr/java目錄下
設置環境變量
#vi /etc/profile
在最后添加:
export JAVA_HOME=/usr/java/jdk1.6.0_31
export JRE_HOME=/usr/java/jdk1.6.0_31/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
保存退出即可,使環境生效
#source /etc/profile - 準備工作做完了
準備工作完畢,重啟一下
#reboot
至此Centos最小化工作安裝完畢,要比使用DVD方式安裝啟動/關閉速度快了很多。另一方面,大量的非必要組件,比如openjdk默認不安裝,算是一個非常干凈的系統了。