隨筆-23  評論-58  文章-0  trackbacks-0

          blog: http://www.aygfsteel.com/nianzai/

          code: http://code.google.com/p/nutla/


          一、安裝
          1、 安裝虛擬機 Oracle VM VirtualBox4.0.4
          2、 在虛擬機下安裝 Red Hat 6.0
          3、 安裝jdk jdk-6u24-linux-i586.bin 安裝路徑為:/home/nianzai/jdk1.6.0_24
          4、 安裝hadoop hadoop-0.20.2.tar.gz 安裝路徑為:/home/nianzai/hadoop-0.20.2
          5、 安裝zookeeper zookeeper-3.3.3.tar.gz 安裝路徑為:/home/nianzai/zookeeper-3.3.3
          6、 安裝hbase hbase-0.90.2.tar.gz 安裝路徑為:/home/nianzai/hbase-0.90.2

          二、配置
          1、Linux配置
          ssh-keygen –t rsa -P ''
          cd .ssh
          cp id_rsa.pub authorized_keys

          /etc/hosts里增加 192.168.195.128 master
          /etc/profile 里增加
          export JAVA_HOME=/home/nianzai/jdk1.6.0_24
          export PATH=$PATH:$JAVA_HOME/bin

          2、hadoop配置
          hadoop-env.sh
          JAVA_HOME=/home/nianzai/jdk1.6.0._24

          core-site.xml
          <configuration>
          <property>
          <name>hadoop.tmp.dir</name>
          <value>/home/nianzai/hadoop</value>
          </property>
          <property>
          <name>fs.default.name</name>
          <value>hdfs://master:9000</value>
          </property>
          </configuration>

          hdfs-site.xml
          <configuration>
          <property>
          <name>dfs.replication</name>
          <value>1</value>
          </property>
          </configuration>

          mapred-site.xml
          <configuration>
          <property>
          <name>mapred.job.tracker</name>
          <value>master:9001</value>
          </property>
          </configuration>

          masters
          master

          sh hadoop namenode -format
          sh start-all.sh
          sh hadoop fs -mkdir input

          3、zookeeper配置
          zoo.cfg
          tickTime=2000
          initLimit=10
          syncLimit=5
          dataDir=/home/nianzai/zkdata
          clientPort=2181

          sh zkServer.sh start

          4、hbase配置
          hbase-env.sh
          export JAVA_HOME=/home/nianzai/jdk1.6.0_24
          export HBASE_MANAGES_ZK=false

          將hbase0.90.2 lib目錄下hadoop-core-0.20-append-r1056497.jar刪除,替換成hadoop0.20.2 下的hadoop-0.20.2-core.jar

          hbase-site.xml
          <configuration>
          <property>
              <name>hbase.rootdir</name>
              <value>hdfs://master:9000/hbase</value>
          </property>
          <property>
              <name>hbase.cluster.distributed</name>
              <value>true</value>
          </property>
          <property>
              <name>hbase.master.port</name>
              <value>60000</value>
            </property>
          <property>
                <name>hbase.zookeeper.quorum</name>
                <value>master</value>
          </property>
          </configuration>

          regionservers
          master

          sh start-hbase.sh

          posted on 2011-04-19 11:32 nianzai 閱讀(4081) 評論(6)  編輯  收藏 所屬分類: Nut(lucene + hadoop 分布式并行計算框架)

          評論:
          # re: Nut開發環境搭建(虛擬機下hadoop0.20.2+zookeeper3.3.3+hbase0.90.2開發環境的搭建) 2011-04-21 09:27 | qiu768
          博主很執著!一直在更新Nut,堅持下去!  回復  更多評論
            
          # re: Nut開發環境搭建(虛擬機下hadoop0.20.2+zookeeper3.3.3+hbase0.90.2開發環境的搭建) 2011-04-26 15:07 | qianshangding
          樓主,我一直能納悶,nut這個框架到底可不可行。

          不過我非常希望能將這個架構應用到實際的項目當中,至少有成功案例。這樣對大家都有幫助。哈哈。qianshangding@gmail.com(我的email,希望經常交流)  回復  更多評論
            
          # re: Nut開發環境搭建(虛擬機下hadoop0.20.2+zookeeper3.3.3+hbase0.90.2開發環境的搭建) 2011-04-26 17:36 | nianzai
          nut 目前只是一個設計參考,想應用的同學可以直接在上面修改應用。如果計劃應用的話,本人無條件提供技術支持,第一時間根據實際情況修改代碼。  回復  更多評論
            
          # re: Nut開發環境搭建(虛擬機下hadoop0.20.2+zookeeper3.3.3+hbase0.90.2開發環境的搭建)[未登錄] 2011-04-29 17:23 | 在路上
          您好,最近看了看nut的源代碼,有些疑問。根據nut的架構圖,可以看出hadoop建立好索引以后會把索引同步到搜索服務器,請問在代碼中哪里可以體現出把索引同步到搜索服務器了,我的郵箱是on_the_way2xsl@163.com
          非常感謝 @nianzai
            回復  更多評論
            
          # re: Nut開發環境搭建(虛擬機下hadoop0.20.2+zookeeper3.3.3+hbase0.90.2開發環境的搭建) 2011-12-25 13:05 | standford
          @nianzai
          我想能否在我的應用中試一下,一起去完善這個框架。我的郵箱henuwolf@qq.com,請聯系。謝謝  回復  更多評論
            
          # re: Nut開發環境搭建(虛擬機下hadoop0.20.2+zookeeper3.3.3+hbase0.90.2開發環境的搭建) 2012-11-02 09:44 | 王義波
          樓主,你好,你最近還有在研究這個東西么,我看你已經有一年沒發表博文了?  回復  更多評論
            
          主站蜘蛛池模板: 玛沁县| 泰顺县| 贡山| 鸡东县| 常山县| 舟曲县| 赣榆县| 枣阳市| 塔城市| 鹿泉市| 泰来县| 凤台县| 伊春市| 长春市| 漳平市| 大新县| 拉萨市| 饶河县| 滦平县| 宜兰市| 五家渠市| 阿拉尔市| 抚顺市| 佛坪县| 新郑市| 新闻| 望谟县| 乐平市| 同心县| 登封市| 平昌县| 奉化市| 六枝特区| 宝应县| 成都市| 玛沁县| 汽车| 山阴县| 明光市| 武鸣县| 永胜县|