paulwong

          Hadoop集群配置

          step1:安裝JDK
                1.1 sudo sh jdk-6u10-linux-i586.bin
                1.2 sudo gedit /etc/environment
                    export JAVA_HOME=/home/linkin/Java/jdk1.6.0_23
                    export JRE_Home=/home/linkin/Java/jdk1.6.0_23/jre
                    export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
                1.3 sudo gedit /etc/profile
                    在umask 022之前添加以下語句:
                    export JAVA_HOME=/home/linkin/Java/jdk1.6.0_23
                    export JRE_HOME=/home/linkin/Java/jdk1.6.0_23/jre
                    export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
                    export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

          更改時區:
          cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
          安裝NTP:
                  yum install ntp
                  安裝后執行
                  ntpdate cn.pool.ntp.org
                  即可同步國際時間..
                  開機后自動同步時間:
                  vi /etc/rc.d/rc.local中,最下面添加
                  ntpdate cn.pool.ntp.org

          關閉IPV6
          在/etc/sysctl.conf結尾添加
          net.ipv6.conf.all.disable_ipv6 = 1
          net.ipv6.conf.default.disable_ipv6 = 1
          重啟服務器

          刪除IPV6的DNS服務器

          step2:SSH免密碼登陸
                2.1 首先在master主機上,linkin@master :~$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
                2.2 linkin@master :~$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 將id_dsa.pub寫入authorized_keys
                2.3 linkin@master :~/.ssh$ scp id_dsa.pub linkin@192.168.149.2:/home/linkin
                2.4 登陸到linkin主機 $cat id_dsa.pub >> .ssh/authorized_keys
                      authorized_keys的權限要是600chmod 600 .ssh/authorized_keys
                2.5 在Datenode上執行同樣的操作就能實現彼此無密碼登陸

          step3:安裝hadoop
                3.1 設置hadoop-env.sh
                    export JAVA_HOME=/home/linkin/jdk1.6.0_10
                3.2 配置core-site.xml
             
          <property>
                
          <name>hadoop.tmp.dir</name>
                
          <value>/home/linkin/hadoop-0.20.2/tmp</value>
                
          <description>A base for other temporary directories.</description>
          </property>

           
          <property>
              
          <name>fs.default.name</name>
              
          <value>hdfs://master:9000</value>//要寫主機名
           
          </property>
             
           
              
                3.3 配置hdfs-site.xml
          <property>
            
          <name>dfs.replication</name>
            
          <value>1</value>
          </property>
               

                3.4 配置mapred-site.xml
               
          <property>
            
          <name>mapred.job.tracker</name>
            
          <value>master:9001</value>//要寫主機名
          </property>
               
                3.5 配置master和slaves
                    master:master(主機名)slaves:linkin(主機名)這2個配置文件可以不拷貝到其它機器上,只在master上保存即可。
                3.6 配置hosts文件
               127.0.0.1 localhost (注意這里不能放其他的如機器名,否則會使hbase的master名稱變成localhost)
               192.168.149.7 master
               192.168.149.2 linkin
                3.7 配置profile,在末尾追加以下內容,并輸入source/etc/profile使之生效
              export JAVA_HOME=/home/linkin/jdk1.6.0_10
              export JRE_HOME=/home/linkin/jdk1.6.0_10/jre
              export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
              export PATH=$JAVA_HOME/bin:$PATH
              HADOOP設置
              export HADOOP_HOME=/home/linkin/hadoop-0.20.2
              export PATH=$HADOOP_HOME/bin:$PATH
              //export PATH=$PATH:$HIVE_HOME/bin
               3.8 將hadoop-0.20.2拷貝到其它主機對應的目錄下。將/ect/profile和/etc/hosts也拷貝到其它機器上。profile需要做生效操作。
          step4 格式化HDFS
                bin/hadoop namenode -format
                bin/hadoop dfs -ls
          step5 啟動hadoop
                bin/start-all.sh
                查看HDFS http://192.168.149.7:50070
                查看JOB狀態 http://192.168.149.7:50030/jobtracker.jsp

          參考資源:
          http://wiki.ubuntu.org.cn/%E5%88%A9%E7%94%A8Cloudera%E5%AE%9E%E7%8E%B0Hadoop

          posted on 2012-09-21 22:45 paulwong 閱讀(412) 評論(0)  編輯  收藏 所屬分類: HADOOPHBASE

          主站蜘蛛池模板: 呼玛县| 湖南省| 拜泉县| 河南省| 广德县| 仁布县| 手游| 河池市| 洛扎县| 文成县| 郯城县| 呈贡县| 方正县| 绍兴县| 永定县| 松滋市| 邻水| 班戈县| 内黄县| 杭州市| 怀安县| 古蔺县| 成武县| 车险| 璧山县| 武乡县| 和平县| 普洱| 萍乡市| 青神县| 永清县| 高青县| 巴青县| 抚松县| 遵义县| 噶尔县| 富平县| 若羌县| 榆中县| 涞源县| 葵青区|