Required Software
- JavaTM 1.5.x
- ssh與sshd
如果沒有安裝請自行安裝。我以CentOS 4.6為例。
下載hadoop，http://apache.mirror.phpchina.com/hadoop/core/ 我下載的是0.17.1版本。
解壓hadoop-0.17.1.tar.gz，然后conf/hadoop-env.sh 設置JAVA_HOME ，我是可JAVA_HOME 去注釋，值自己的路徑。如：
export JAVA_HOME=/usr/java/jdk1.6.0_06
如果不設置啟動后用不了。
先從簡單開始。
1、Local (Standalone) Mode ，叫單機模式。
[chenlb@master hadoop-0.17.1]$ bin/hadoop jar hadoop-0.17.1-examples.jar grep conf output 'dfs[a-z.]+'
[chenlb@master hadoop-0.17.1]$ cat output/*
如果，正常可以看到內容。像這樣。
3 dfs.
3 dfs.class
2 dfs.period
2 dfs.replication
... ...
2、Pseudo-Distributed Mode，虛擬分布模式。
vi conf/hadoop-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000/</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://master:9001/</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/chenlb/hadoop-0.17.1/tmp/</value>
</property>
</configuration>
在/etc/hosts里添加本機ip對應master，例如我的：172.16.249.210 master
保證可以無密碼登錄。請看那一篇文章：
http://www.aygfsteel.com/chenlb/archive/2008/07/03/212293.html
用ssh localhost試一下是否免密碼登錄。
格式化分布式文件系統：
[chenlb@master hadoop-0.17.1]$ bin/hadoop namenode -format
啟動Hadoop：
[chenlb@master hadoop-0.17.1]$ bin/start-all.sh
默認可以在
${HADOOP_HOME}/logs里看到日志。
可以用web看瀏覽NameNode和JobTracker
NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/
把文件放到分布式文件系統里：
[chenlb@master hadoop-0.17.1]$ bin/hadoop dfs -put conf input
此時已經在分布文件系統里建立了input文件夾。而conf是本地的文件夾。
執行示例：
[chenlb@master hadoop-0.17.1]$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
這里input和output都是分布式文件系統的的文件夾，而且output在分布式文件系統里不存在，否則報錯（也可以先刪除它bin/badoop dfs -rmr output）。
耐心等待。結束后可以查看。
[chenlb@master hadoop-0.17.1]$ bin/hadoop dfs -get output output
[chenlb@master hadoop-0.17.1]$ cat output/*
也可以直接在分布式文件系統里查：
[chenlb@master hadoop-0.17.1]$ bin/hadoop dfs -cat output/*
成功運行后可以關閉它了：
[chenlb@master hadoop-0.17.1]$ bin/stop-all.sh
我在第2階段，出了些問題：output已經存在，要先刪除它（第二次運行前，可以不用output）。
下一篇講：Fully-Distributed Mode http://www.aygfsteel.com/chenlb/archive/2008/08/11/221314.html
posted on 2008-08-11 15:28
流浪汗 閱讀(4956)
評論(2) 編輯 收藏 所屬分類:
Lucene