隨筆-153 
評論-235 
文章-19 
trackbacks-0

          
	

          

          
	
					





          
	
          
		
		 
				  
	
          

	
			
			用unzip
          

          

          unzip myfile.zip
          

			
          posted @ 2008-09-02 16:03 流浪汗 閱讀(823) | 評論 (0) | 編輯 收藏
          
		
			
          
		
			
			上一篇記錄了本機模式我虛擬分布模式。http://www.aygfsteel.com/chenlb/archive/2008/08/11/221311.html
          

          
現我在虛擬機里開三臺機子，分別命名為：master(172.16.249.210)，slave-1(172.16.249.211)，slave-2(172.16.249.212)。
          

          
master可以無密碼登錄到slave機。
          
每臺機子都匹配ip對應名。
          

          127.0.0.1       localhost       localhost
          

          
          172.16.249.210  master
          
          172.16.249.211  slave-1
          
          172.16.249.212  slave-2
          

          
修改conf/masters文件和conf/slaves文件。
          
conf/masters文件：
          

          master
          

          
conf/slaves文件：
          

          slave-1
          
slave-          2
          

          
格式化后可以啟動了：
          

          [chenlb@master hadoop-0.17.1]$ bin/start-all.sh 
          

          

          
參考資料：
          
http://hadoop.apache.org/core/docs/r0.17.1/quickstart.html
          
http://hadoop.apache.org/core/docs/r0.17.1/cluster_setup.html 

			
          posted @ 2008-08-11 15:45 流浪汗 閱讀(797) | 評論 (0) | 編輯 收藏
          
		
			
          
		
			
			
           
          

          Required Software
          

            
    
          1. JavaTM 1.5.x
    
          2. ssh與sshd 
            3. 

          

          如果沒有安裝請自行安裝。我以CentOS 4.6為例。
          

          
下載hadoop，http://apache.mirror.phpchina.com/hadoop/core/ 我下載的是0.17.1版本。
          

          
解壓hadoop-0.17.1.tar.gz，然后conf/hadoop-env.sh 設置JAVA_HOME ，我是可JAVA_HOME 去注釋，值自己的路徑。如：
          

          export JAVA_HOME=/usr/java/jdk1.6.0_06
          

          如果不設置啟動后用不了。
          

          
先從簡單開始。
          

          
1、Local (Standalone) Mode ，叫單機模式。
          

          [chenlb@master hadoop-0.17.1]$ bin/hadoop jar hadoop-0.17.1-examples.jar grep conf output 'dfs[a-z.]+'
          

           
          

          [chenlb@master hadoop-0.17.1]$ cat output/*
          


          
如果，正?？梢钥吹絻热?。像這樣。
          

          3       dfs.
          
          3       dfs.class
          
          2       dfs.period
          
          2       dfs.replication
          
...    ...
          

          
2、Pseudo-Distributed Mode，虛擬分布模式。
          
vi conf/hadoop-site.xml
          

          <configuration>
          
          <property>
          
                  <name>fs.default.name</name>
          
                  <value>hdfs://master:9000/</value>
          
          </property>
          
          <property>
          
                  <name>mapred.job.tracker</name>
          
                  <value>hdfs://master:9001/</value>
          
          </property>
          
          <property>
          
                  <name>dfs.replication</name>
          
                  <value>1</value>
          
          </property>
          
          <property>
          
                  <name>hadoop.tmp.dir</name>
          
                  <value>/home/chenlb/hadoop-0.17.1/tmp/</value>
          
          </property>
          
          </configuration>
          

          

          
在/etc/hosts里添加本機ip對應master，例如我的：172.16.249.210    master
          
保證可以無密碼登錄。請看那一篇文章：http://www.aygfsteel.com/chenlb/archive/2008/07/03/212293.html 
          

          
用ssh localhost試一下是否免密碼登錄。
          

          
格式化分布式文件系統：
          

          [chenlb@master hadoop-0.17.1]$ bin/hadoop namenode -format
          

          
啟動Hadoop：
          

          [chenlb@master hadoop-0.17.1]$ bin/start-all.sh 
          

          
默認可以在${HADOOP_HOME}/logs里看到日志。
          

          
可以用web看瀏覽NameNode和JobTracker
          

        1. NameNode - http://localhost:50070/

        2. JobTracker - http://localhost:50030/


          
把文件放到分布式文件系統里：
          

          [chenlb@master hadoop-0.17.1]$ bin/hadoop dfs -put conf input
          

          
此時已經在分布文件系統里建立了input文件夾。而conf是本地的文件夾。
          

          
執行示例：
          

          [chenlb@master hadoop-0.17.1]$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
          

          
這里input和output都是分布式文件系統的的文件夾，而且output在分布式文件系統里不存在，否則報錯（也可以先刪除它bin/badoop dfs -rmr output）。
          

          
耐心等待。結束后可以查看。
          

          [chenlb@master hadoop-0.17.1]$ bin/hadoop dfs -get output output 
          
[chenlb          @master hadoop-0.17.1]$ cat output/* 
          

          
也可以直接在分布式文件系統里查：
          

          [chenlb@master hadoop-0.17.1]$ bin/hadoop dfs -cat output/*
          

          
成功運行后可以關閉它了：
          

          [chenlb@master hadoop-0.17.1]$ bin/stop-all.sh
          

          
我在第2階段，出了些問題：output已經存在，要先刪除它（第二次運行前，可以不用output）。
          

          
下一篇講：Fully-Distributed Mode http://www.aygfsteel.com/chenlb/archive/2008/08/11/221314.html
          3. 
			
          posted @ 2008-08-11 15:28 流浪汗 閱讀(4951) | 評論 (2) | 編輯 收藏
          
		
			
          
		
			
			在linux下改了ip地址后，不能立即生效。以前是重啟機器，我覺得這樣很傻，后來知道網卡可以重啟。
          

          

          /etc/init.d/network restart
          

			
          posted @ 2008-08-11 09:34 流浪汗 閱讀(6068) | 評論 (1) | 編輯 收藏
          
		
			
          
		
			
			一直想了解分布搜索與索引。Lucene有MultiSearcher，solr1.2的只能有單個索引，現在1.3可以有Distributed Searching這玩意?？梢詮亩鄠€索引里搜索出并合并結果返回給你。這些索引不是replication的，是分割的?？梢韵?num方式索引在num臺機器上，然后用solr的shards參數。
          

          
如：
          

          shards=localhost:8080/use-solr1.3,localhost:9080/use-solr1.3&q=chenlb
          

          
測試后可以返回結果，但合并的時候發了點時間，我的機子上40-60ms，單個搜索基本是0ms
          

          
測試數據是14W結果，分開索引到兩個tomcat里。看了后臺，一個搜索有兩次請求，其中合并的那機子是三次請求。時間可能花在請求里，還有就是合并可能緩存不到。
          

          
官方建議：如果單個solr足夠快的話沒有必要搞Distributed Searching，如果再高點要求可以index repliction。
          

          
當索引很大的時候可能Distributed Searching用的上場， 個人之見。
          

          
參考：http://wiki.apache.org/solr/DistributedSearch

			
          posted @ 2008-08-07 18:31 流浪汗 閱讀(1013) | 評論 (0) | 編輯 收藏
          
		
			
          
		
			
			html 與 xml的轉義符不同, xml就只有5個:
          

          

          
    
        
          
            <
            &lt;
        
          
        
          
            >
            &gt;
        
          
        
          
            &
            &amp;
        
          
        
          
            "
            &quot;
        
          
        
          
            '
            &apos;
        
          
              

          

          

          
xml沒有&nbsp;

			
          posted @ 2008-08-06 12:40 流浪汗 閱讀(15414) | 評論 (2) | 編輯 收藏
          
		
			
          
		
			
			我比較喜歡免安裝版(非安裝版)的mysql，
          

          
下載如： mysql-noinstall-5.0.45-win32.zip
          

          
把它解壓到如： E:/mysql-5.0.45， 當然可以任意位置。
          

          
然后改my-medium.ini文件為my.ini，當然也可以不改名，但要改內容
          

          

          basedir="E:/mysql-5.0.45/"
          

          
datadir          ="E:/mysql-5.0.45/Data/"
          

          
如果上面，最好加個字符集，在[mysqld]和[mysql]下面加
          

          default-character-set=utf8
          

          
當然可能是其它字符集， 如：gbk
          

          
寫個mysql-startup.bat
          

          "E:\mysql-5.0.45\bin\mysqld" --defaults-file="E:\mysql-5.0.45\my.ini"
          

          
雙擊mysql-startup.bat即可啟動。
          

          
用mysqladmin關閉mysql服務：
          

          E:/mysql-5.0.45/bin/mysqladmin -u root shutdown
          

          

          
^_^
          
 
			
          posted @ 2008-08-03 16:22 流浪汗 閱讀(3087) | 評論 (1) | 編輯 收藏
          
		
			
          
		
			
			    想讓Tomcat支持ssi，一般是shtml文件。配置比較簡單。
          

          
默認tomcat不支持ssi。
          

          
現以tomcat5.5.x為例。
          

          
改conf/web.xml配置。
          

          
有兩種方式：一是servlet，二是filter。
          

          
servlet方式的：
          

          <!--
          
    <servlet>
          
        <servlet-name>ssi</servlet-name>
          
        <servlet-class>
          
          org.apache.catalina.ssi.SSIServlet
          
        </servlet-class>
          
        <init-param>
          
          <param-name>buffered</param-name>
          
          <param-value>1</param-value>
          
        </init-param>
          
        <init-param>
          
          <param-name>debug</param-name>
          
          <param-value>0</param-value>
          
        </init-param>
          
        <init-param>
          
          <param-name>expires</param-name>
          
          <param-value>666</param-value>
          
        </init-param>
          
        <init-param>
          
          <param-name>isVirtualWebappRelative</param-name>
          
          <param-value>0</param-value>
          
        </init-param>
          
        <load-on-startup>4</load-on-startup>
          
    </servlet>
          
          -->
          

          

          <!--
          
    <servlet-mapping>
          
        <servlet-name>ssi</servlet-name>
          
        <url-pattern>*.shtml</url-pattern>
          
    </servlet-mapping>
          
          -->
          

          
找到上面的內容，去掉注釋。
          

          
filter方式：
          

          <!--
          
    <filter>
          
        <filter-name>ssi</filter-name>
          
        <filter-class>
          
          org.apache.catalina.ssi.SSIFilter
          
        </filter-class>
          
        <init-param>
          
          <param-name>contentType</param-name>
          
          <param-value>text/x-server-parsed-html(;.*)?</param-value>
          
        </init-param>
          
        <init-param>
          
          <param-name>debug</param-name>
          
          <param-value>0</param-value>
          
        </init-param>
          
        <init-param>
          
          <param-name>expires</param-name>
          
          <param-value>666</param-value>
          
        </init-param>
          
        <init-param>
          
          <param-name>isVirtualWebappRelative</param-name>
          
          <param-value>0</param-value>
          
        </init-param>
          
    </filter>
          
          -->
          

          

          <!--
          
    <filter-mapping>
          
        <filter-name>ssi</filter-name>
          
        <url-pattern>*.shtml</url-pattern>
          
    </filter-mapping>
          
          -->
          

          
同樣是去掉上面的注釋。但是filter方式的還要加mime-mapping=text/x-server-parsed-html
          

          <!--
          
    <mime-mapping>
          
        <extension>shtml</extension>
          
        <mime-type>text/x-server-parsed-html</mime-type>
          
    </mime-mapping>
          
          -->
          

          
去掉mime-mapping的shtml注釋。
          

          
在test的web試下：
          
index.shtml
          

          <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
          
          <html xmlns="http://www.w3.org/1999/xhtml">
          
          <head>
          
          <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
          
          <title>ssi 示例</title>
          
          </head>
          

          
          <body>
          
ssi area           <!--#include virtual="ssi.html" -->
          
          <p>
          

          
        footer           <!--#include virtual="footer.html" --><p>
          
        
          
                  <p>
          
            
          
          <!--#config timefmt="%D" -->
          
        Me last modified           <!--#echo var="LAST_MODIFIED" -->
          

          
          </body>
          
          </html>
          

          
footer.html
          

          <ul>
          
              <li>index</li>
          
              <li>about</li>
          
          </ul>
          

          
ssi.html
          

          <p>this is ssi.html file</p><p>
          
          <p>中文</p>
          
ssi.html file end
          
          <p/>
          

          

          

          
現在可以，http://localhost:8080/test/index.shtml 有結果了。
          

			
          posted @ 2008-07-27 21:55 流浪汗 閱讀(1377) | 評論 (0) | 編輯 收藏
          
		
			
          
		
			
			    有一個項目的代碼提交是用https協議的。一提交的時候出現如下錯誤：
          

          

          svn: PROPFIND request failed on '/svn/trunk/xxx'
          
svn: PROPFIND of '/svn/trunk/xxx': Could not create SSL connection through proxy server (https://.
          

          
    這下郁悶，看了下eclipse設置，又沒有設代理。google一下，看到一個郵件列表，有一個字眼“TSVN”。哦，快去看看TortoiseSVN。任意一個目錄右擊->TortoiseSVN->設置->網絡，有學校時用的代理。去掉一試，好了沒錯了。
          

          
    前端時間用Subclipse時，一定要安裝TortoiseSVN才可保存密碼，現在又TortoiseSVN的設置Subclipse又有效。帶著探索心去看eclipse的設置。Team->svn那里有一個選項：
          

          
SVN接口：
          
1.JavaHL(JNI)
          
2.SVNkit(純Java)
          

          
原來選的是JavaHL(JNI)，現在明白了。改用SVNkit試一下，現在的subclipse不會理TortoiseSVN了。
          

          

			
          posted @ 2008-07-26 13:34 流浪汗 閱讀(3713) | 評論 (0) | 編輯 收藏
          
		
			
          
		
			
			有些windows操作系統被人"強奸"過的, 導致語言欄變灰色,無法顯示,在任務欄里不顯示.
          

          
一般是ctfmon.exe問題. 看下C:\windows\system32\ctfmon.exe文件. 沒有就下載
          

          
http://www.aygfsteel.com/Files/chenlb/ctfmon_xp.rar
          

          
安裝它, 
          

          
然后在: 控制面板->區域和語言選項->語言->詳細信息->高級->去掉"關閉高級文字服務"
          

          
即可.
          

          
那一種(百度知道): http://zhidao.baidu.com/question/31477300.html
          

          
看你是使用2003 還是XP系統 
          

          
要是XP系統的話了就設置兩個地方 
          
1.開始，運行，msconfig，勾選ctfmon.exe 
          

          
控制面板--區域和語言選項--語言--詳細信息--高級--不要選“關閉高級文字服務” 
          
2.開始--控制面板－－日期、時間、語言和區域設置－－區域和語言選擇－－語言－－詳細信息－－語言欄（選擇在桌面顯示語言欄 還有 選擇：在任務欄中顯示其他語言欄圖標）
          

          
參考: http://www.nvyouwm.cn/html/jishuwendang/huanjingpeizhi/20080602/266_2.html
          

			
          posted @ 2008-07-12 13:26 流浪汗 閱讀(7564) | 評論 (9) | 編輯 收藏
          
		
          僅列出標題
          
	共16頁: 上一頁 1 2 3 4 5 6 7 8 9 下一頁 Last 

          

          

				

          








    
          
        
	




主站蜘蛛池模板：
余庆县|
沁源县|
甘孜县|
湘潭县|
郧西县|
石狮市|
咸阳市|
罗源县|
大英县|
车险|
栖霞市|
祁东县|
乌什县|
平利县|
中阳县|
泽州县|
西丰县|
晋中市|
广灵县|
兴和县|
阿克|
达日县|
石渠县|
渑池县|
铁岭市|
秦皇岛市|
库车县|
宁南县|
青阳县|
藁城市|
东安县|
乌拉特前旗|
平度市|
康保县|
鹤壁市|
天峨县|
彩票|
宝清县|
遵义县|
陕西省|
霍邱县|