Skynet

          ---------- ---------- 我的新 blog : liukaiyi.cublog.cn ---------- ----------

            BlogJava :: 首頁 :: 聯(lián)系 :: 聚合  :: 管理
            112 Posts :: 1 Stories :: 49 Comments :: 0 Trackbacks

          hadoop 原理參考:用 Hadoop 進(jìn)行分布式并行編程
          官方中文文檔:http://hadoop.apache.org/core/docs/r0.18.2/cn/index.html

          1. 首先安裝 cygwin ssh  參考 windows ssh 搭建
          2. 搭建hadoop  參考 Cygwin下的Hadoop快速入門-偽分布式模式的查缺補(bǔ)漏
             
          這里還有 cygwin putty 控制臺方法設(shè)置
          3. 開發(fā)環(huán)境和 demo 參考

          通過參考應(yīng)該環(huán)境的搭建沒問題,我這搭建成功了,說下我這一些注意到地方吧
          1. 我這使用的最新版本的 hadoop-0.20.0 在參考文檔中,修改 hadoop-site.xml 。
             在這個版本已經(jīng)在conf下找不到了,我這嘗試修改的 hdfs-site.xml 。測試的時候竟然通過了。
           

          <?xml version="1.0"?>
          <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

          <configuration>
            
          <property>
              
          <name>fs.default.name</name>
              
          <value>hdfs://localhost:9000</value>
            
          </property>

            
          <property>
              
          <name>mapred.job.tracker</name>
              
          <value>localhost:9001</value>
            
          </property>

            
          <property>
              
          <name>dfs.data.dir</name>
              
          <!--linux -->
              
          <!--<value>/home/lky/tools/java/hadoop-0.18.3/dfs</value>-->
              
          <value>C:\\cygwin\\home\\lky\\tools\\java\\hadoop-0.18.3\\dfs\\</value>
            
          </property>


            
          <property>
              
          <name>hadoop.tmp.dir</name>
              
          <value>/tmp</value>
            
          </property>



            
          <property>
              
          <name>dfs.replication</name>
              
          <value>1</value>
            
          </property>


          <property>
            
          <name>fs.trash.interval</name>
            
          <value>60</value>
            
          <description>Number of minutes between trash checkpoints.
            If zero, the trash feature is disabled.
            
          </description>
          </property>
            
          </configuration>



          整理 www.aygfsteel.com/Good-Game
          posted on 2009-07-08 11:07 劉凱毅 閱讀(1247) 評論(0)  編輯  收藏 所屬分類: 集群開發(fā)
          主站蜘蛛池模板: 金乡县| 黄龙县| 湘潭市| 樟树市| 郑州市| 满洲里市| 怀集县| 沈阳市| 遂平县| 广灵县| 兴安县| 台山市| 二手房| 开化县| 光泽县| 静安区| 尤溪县| 吉林省| 大同市| 九寨沟县| 互助| 永登县| 高陵县| 泸定县| 洪湖市| 万全县| 商洛市| 贞丰县| 韶关市| 临海市| 绥德县| 乌海市| 三原县| 绍兴县| 惠水县| 三都| 木兰县| 孟州市| 武冈市| 藁城市| 宁晋县|