信息采集系統的技術實現

        信息采集系統指的是按標準格式采集指定網絡信息，同搜索引擎的區別在于其采集的目的性更強，采集源范圍也比較小。這里簡單介紹一下信息采集系統實現上的幾個關鍵問題:

1) 采集網頁數據

        VC,Java,VB的網絡通訊功能都足夠實現信息采集，VC中的Get/Post方式可采集網頁信息，也可以直接用socket方式采集，但一般用前一種模式，另外為了提高采集效率都采用多線程技術，在網上的一些Spider程序都是多線程的,可以借鑒.

2) 如何按關鍵字來信息

        信息采集的一大特點是按多個關鍵字將信息拆分出來，例如供求信息中的商機標題、聯系人、電話、Email、內容等，實現時需要事先定義好這些關鍵字，然后在網頁中搜索，將夾在兩個關鍵字當中的信息采集出來，另外還要注意，網頁中的許多關鍵字是包含空格的，空格數量也不能確定，例如"郵   件",這就要求在查找關鍵字時要把關鍵字按單個漢字拆開來匹配，遇到中間的空格要跳過去.這一步實現了，信息就會變的非常有規則，也就可以導入本地庫了.

3) 網頁中的鏈結獲取算法

        了解HTML的應該清楚，網頁中的鏈結都是通過的標簽定義的，但也會分很多情況，例如:  < a href = "...">  這是常見的鏈結格式，但要注意采集出來的鏈結可能是完整的http://...，也可能是相對路徑,要分別處理；  < a href = ''> 用單引號分隔的，所以用算法獲取鏈結的時候要根據雙引號和單引號兩種標記來分隔；< a href = .. onclick = javascript:view('..','')> 通過javascript的函數處理鏈結，算法上就麻煩了許多。

4) 無效數據的過濾

        即使通過關鍵字的方式摒棄了許多廣告信息，但在關鍵字信息中也會有不少無效數據，包括一些信息開頭的空格

5) 特定數據的獲取算法

        Email,電話等數據符合一定的規范，一般可以用一些算法提取出來，也可以用正則表達式技術來獲取，在網絡上有不少此類算法.在信息采集中，Email和電話等關鍵信息是比較分散的，需要用提取算法把這些信息提取出來放在正確的位置.這是非常有必要的，因為信息采集系統往往會有郵件群發的功能.

信息采集的整個流程可總結如下:

 a) 首先，獲取網頁的完整信息

 b) 用算法獲取網頁中的正文信息，即拋棄HTML的標簽文本

 c) 去除多余的空行

 d) 按定義好的關鍵字將信息分隔開

 e) 對信息進行無效數據過濾

 f) 信息入本地庫

 g) 獲取網頁中的鏈結，對該鏈結從a)步驟開始重復,但注意網頁中的許多鏈結是廣告或無效的，因此要事先定義好一些鏈結關鍵字，只有包含關鍵字的鏈結才處理

行業搜索、垂直搜索引擎。

行業搜索：搜索對象針對所在的行業，采用類似傳統通用搜索引擎的分詞索引技術，返回關鍵詞最匹配的結果。

垂直搜索：搜索對象針對所在的行業，采用數據采集、數據挖掘、數據整理等技術，返回經過加工處理的結果。

一、綜合搜索

酷訊www.kooxoo.com ：招聘、房產、汽車、火車票、機票、餐飲、交友、購物、旅游

奇虎www.qihoo.com ：論壇、博客、新聞、招聘、房產、視頻、音樂、圖片、火車票、餐飲、經驗？、折扣

cgogo搜個夠www.cgogo.com ：社區、招聘、票務、住房、視頻、本地（地圖）、博客、無線

我酷網 www.wooqoo.com                  （五花八門，該有都有）

開拓搜索www.kaitoo.com                  （五花八門，該有都有）

每步搜索 http://cnc.meibu.com/ （綜合）

八百搜www.800so.com （五花八門，該有都有，站內搜索和站外搜索并列）

酷愛 www.koooi.com （網頁 MP3 房產 餐飲 交友 搜人 資源）

soso88   www.soso88.net （政府采購 人才職位 房源地產 建材裝飾）

二、求職招聘： （18）

職友集   www.jobbui.com

搜職網  www.globehr.com

南京搜職網  www.sozhi.cn

托托搜索 www.totojob.com

1010job精英招聘 www.1010job.com

牛耳搜職網 www.newerjob.com

數字英才（職通車） www.01hr.com

深度搜索 www.deepdo.com

淘職網 www.go2work.com.cn

我搜網 www.alsox.com

校園招聘 www.zhaopinbbs.com

易聘  www.yipin.cc

找工作 www.meijob.com

熱職工作引擎 www.rezhi.com

職場快線 www.jobems.com

職脈搜索 www.jobmet.com

高八斗 www.gao8dou.com         區域搜索引擎聯合，在各地都有獨立一級域名，單一數據庫。

安徽人才總網 www.ah668.com/rc/ （安徽區域搜索）

三、房屋房產 （9）

搜房引擎 search.soufun.com

房老大 www.fanglaoda.com

焦點房產seek.focus.cn

家家看網 www.jjto.com

我住網 www.wozhu.com

搜房網 www.sofang.com.cn

尋捕房 www.xpfang.com

房網搜索 www.house163.com

百房 www.100fang.com

四：商務商機、人文 （20）

聯絡家  http://www.linkist.com/

優庫  www.ucloo.com        （搜人 公司 學校 ）

Anyso商業搜索引擎  www.anyso.com

accoona  www.accoona.cn

國通網 www.guton.com

享者  www.hengzhe.com

品搜 www.pinsou.com

品通 www.joingoo.com

搜商 www.bseek.cn

商搜 www.shangsou.com

商寶 www.b2b8.com

jow  http://jqw.com/

企業門戶 www.yie.cn

搜庫網 www.souku.com.cn

伊索  http://china.eceel.com/

天網商搜 http://china.eceel.com/

信援 www.xinsos.com

一呼百應 www.youboy.com

易購搜索 www.ego321.com

浙搜 http://zhesou.com/ （區域性搜索）

五、生活、購物消費 （17）

8848（比較購物）http://esearch.8848.com/

丫丫比較購物 http://askyaya.com/

大拿網（比較購物） http://www.danawa.com.cn/

普加 Pojaa http://www.pojaa.com/

搜狗 http://shopping.sogou.com/

購物搜索www.gobygo.com

中搜http://shopping.zhongsou.com/

Soaso http://www.soaso.com/

搜評網 http://www.souping.com/

無憂城市網 http://www.51city.com

億起搜  http://www.eqiso.com/

365.com  www.365.com （生活搜索綜合）

快搜測評網 www.ksou.com.cn （IT硬件相關）

搜教網 www.soojoo.cn （教育資源相關）

樂遜外賣搜索 www.lexun.com.cn

友買網 www.uobuy.com

馬可波羅 www.makepolo.com/

易購搜索 www.ego321.com

六、地圖公交、出行 （15）

公交查詢 http://www.8684.cn/

瘦驢旅游搜索引擎  http://www.souluu.com/

E都市 http://www.edushi.com/

Mapabc地圖 http://www.mapabc.com/

圖吧  http://main.mapbar.com/

UUMAP http://www.uumap.com/

城市通 http://www.52tong.com/

華夏圖網 http://www.map2china.com/

都市圈－三維地圖 http://www.o.cn/

第1搜 http://www.d1so.com/

都市吧 http://www.city8.com/

活圖網 http://www.livemap.cn/

我要地圖 http://www.51ditu.com/

丁丁地圖 www.ddmap.com

坐車網 http://www1.zuoche.com/ （廣州區域搜索）

google、百度、搜狗、MSN虛擬地球http://virtualearth.msn.com/

七、醫療健康

康Q www.kangq.com

Souvv http://search.souvv.com/

醫搜 http://www.yiso.cc/

放心醫苑網 http://www.120so.com/

博睿  http://search.chinamtcm.com

八、圖書搜索

愛搜書網 http://www.isoshu.com/

讀秀知識庫 http://www.duxiu.com/

九、分類信息

國通網http://www.guton.com

十、手機搜索引擎

悠悠村  http://www.uucun.com/

儒豹手機搜索 http://www.roboo.com/

十一、軟件IT、BT資源

迅雷資源搜索 http://so.xunlei.com

BT聯盟搜索引擎 http://search.btchina.net/

BT全球搜索 http://bt.it.com.cn/

BT特工 http://bt.souyo.com/

飛客BT搜索 http://bt.fkee.com/

天天BT 電影 http://www.ttbt.cn/

網游搜索 www.37ss.com

FTP搜索引擎 www.tooooold.com

十二、娛樂綜合、電影、音樂等

搜刮  http://www.sogua.com/

易搜 http://bt.souyo.com/               （娛樂綜合、軟件IT、游戲、電影）

OpenV開放視頻 http://www.openv.tv/

第九頻道 www.tvix.cn

動漫搜索 http://share.greedland.net/

奇客網 http://v.qirss.com/

CCTV視頻搜索 http://vsearch.cctv.com/

優酷視頻搜索  http://www.youku.com/

十三、電視節目

電視貓  www.tvmao.com

e準 - 電視節目預告 www.ezhun.com

搜視網 http://www.tvsou.com/

我愛電視劇 http://www.5idsj.com/ （劇情搜索）

十四、博客、論壇搜索

貼易 http://search.teein.com/

Souyo http://www.souyo.com/

博狗 http://www.blogool.com/

大旗 http://search.chinabbs.com/

博客查號臺  http://www.blog114.com.cn/

博搜 http://www.booso.com/

中文RSS搜索 http://www.booso.com/

名人博客 http://www.starlogs.com/

中國博客網搜索 http://search.blogcn.com/

十五、其它

搜農 www.sounong.net （來自安徽的和農業相關綜合搜索引擎）

農搜 www.agrisou.com

性搜 http://www.sinsoo.com/

中國建筑黃頁 www.agoo.com.cn

搜網（圖片搜索） http://home.souwang.com/

金聚網（游戲搜索） http://www.jj160.com/

游戲網（搜索引擎？）http://ks.pcgames.com.cn/

樂虎網（手機圖片） http://www.joyhoo.com/

全國駕校搜索 www.jxedt.com

個性搜索       www.deyeb.cn

   引言

數據挖掘(Data Mining，DM)是從大量數據中提取或“挖掘”知識，是從存放在數據庫、數據倉庫或其他信息庫中的大量數據中挖掘有趣知識的過程。[1] 隨著網絡的不斷發展，因特網目前已成為一個巨大的、分布廣泛的和全球性的信息服務中心。從海量的網絡信息中尋找有用的知識，早已成為人們的迫切需求。各種類似Google、Baidu等的搜索引擎也層出不窮，Web數據挖掘的應用在現實中不斷體現。

Web數據挖掘建立在對大量的網絡數據進行分析的基礎上，采用相應的數據挖掘算法，在具體的應用模型上進行數據的提取、數據篩選、數據轉換、數據挖掘和模式分析，最后做出歸納性的推理、預測客戶的個性化行為以及用戶習慣，從而幫助進行決策和管理，減少決策的風險。

Web數據挖掘涉及多個領域，除數據挖掘外，還涉及計算機網絡、數據庫與數據倉儲、人工智能、信息檢索、可視化、自然語言理解等技術。

2   Web數據挖掘面臨的問題

Web的巨大、分布廣泛和內容多樣使得目前的Web挖掘面臨著眾多問題和挑戰。首先，對有效的數據倉庫和數據挖掘來說，Web上的數據過于龐大。而且，Web上的數據具有極強的動態性，不僅數量增長快而且更新十分迅速。但是面對如此大量的Web上的信息，有調查卻表明：99%的Web信息對于99%的用戶是無用的。這樣看來，面對網絡上形形色色各式各樣的用戶群體，許多由Web搜索引擎所檢索到的資料將會被淹沒。

另外，由于Web頁面缺乏同一的結構，其結構又比任何傳統文本文檔都要復雜，所以要實現基于Web的數據挖掘和信息檢索在目前來說是非常具有挑戰性的。

3   Web數據挖掘的分類

Web數據挖掘是一項具有挑戰性的課題。它實現對Web存取模式，Web結構和規則，以及動態的Web內容的查找。一般來說，Web數據挖掘可分為四類：Web內容挖掘、Web結構挖掘、Web使用記錄挖掘和Web用戶性質挖掘。其中，Web內容挖掘、Web結構挖掘和Web使用記錄挖掘是Web1.0時代就已經有了的，而Web用戶性質挖掘則是伴隨著Web2.0的出現而出現的。

3.1 Web內容挖掘

Web內容挖掘主要包括文本挖掘和多媒體挖掘兩類，其對象包括文本、圖像、音頻、視頻、多媒體和其他各種類型的數據。這些數據一般由非結構化的數據(如文本) 、半結構化的數據(如HTML 文檔) 和結構化的數據(如表格) 構成。對非結構化文本進行的Web挖掘，稱為文本數據挖掘或文本挖掘，是Web挖掘中比較重要的技術領域。Web挖掘中另一個比較重要的技術領域是Web多媒體數據挖掘。

目前，關于Web內容挖掘的研究大體以Web文本內容挖掘為主。Web內容挖掘一般從資源查找和數據庫兩個不同的方面進行研究。

從資源查找的方面來看，Web內容挖掘的任務是從用戶的角度出發，怎樣提高信息質量和幫助用戶過濾信息。主要是對非結構化文檔和半結構化文檔的挖掘。非結構化文檔主要指Web上的自由文本，如小說、新聞等。Web上的半結構化文檔挖掘指在加入了HTML、超鏈接等附加結構的信息上進行挖掘，其應用包括超鏈接文本的分類、聚類、發現文檔之間的關系、提出半結構化文檔中的模式和規則等。

從數據庫的觀點進行Web內容挖掘主要是試圖建立Web站點的數據模型并加以集成， 以支持復雜查詢，而不只是簡單的基于關鍵詞的搜索。這要通過找到Web文檔的模式、建立Web知識庫來實現。

對文本數據進行挖掘的文檔分類和模型質量評價方法與傳統的數據挖掘方法相類似，分類算法主要應用樸素貝葉斯(Naive Bayes Classifier)。對模型的質量評價主要有分類的正確率(Classification Accuracy)、準確率( Precision)和信息估值( Information Score)。 SAAS

Web多媒體數據挖掘從多媒體數據庫中提取隱藏的知識、多媒體數據關聯、或者是其他沒有直接儲存在多媒體數據庫中的模式。多媒體數據挖掘包括對圖像、視頻和聲音的挖掘。多媒體挖掘首先進行特征提取，然后再應用傳統的數據挖掘方法進行進一步的信息挖掘。對網頁中的多媒體數據進行特征的提取，應充分利用HTML的標簽信息。[3]

3.2 Web結構挖掘

由于有用的知識不僅包含在Web頁面的內容中，而且也包含在頁面的結構中。所以Web結構挖掘是從站點的組織結構和頁面結構中推導出知識，對Web頁面間的結構進行挖掘，找出數據鏈的結構進行分類、聚類，從而發現頁面間的關系，進而改進搜索引擎的性能。

Web結構挖掘的對象是Web本身的超鏈接，即對Web文檔的結構進行挖掘。Web結構挖掘的基本思想是將Web看作一個有向圖，他的頂點是Web頁面，頁面間的超鏈就是圖的邊。然后利用圖論對Web的拓撲結構進行分析。常見的算法有HITS ( Hypertext Induced Topic Search) 、PageRank、發現虛擬社區的算法、發現相似頁面的算法、發現地理位置的算法和頁面分類算法。Web結構挖掘的算法一般可分為查詢相關算法和查詢無關算法兩類。查詢相關算法需要為每一個查詢進行一次超鏈分析從而進行一次值的指派;而查詢獨立算法則為每個文檔僅進行一次值的指派，對所有的查詢都使用此值。HITS和PageRank分別是查詢相關算法和查詢獨立算法的代表。

4   結束語

Web數據挖掘是當今世界上的熱門研究領域，其研究具有廣闊的應用前景和巨大的現實意義。目前國內的Web數據挖掘尚處于學習、跟蹤和探索階段。Web數據挖掘有許多問題有待于進一步的研究和深化。Web2.0的出現給Web數據挖掘提出了新的要求。基于Web2.0的數據挖掘目前還處于起步階段，它必將成為Web數據挖掘中很重要的一個研究領域。

Ext Stand-alone：
ext-base.js
ext-all.js (or your choice of files)

Yahoo! UI (.12+)：
yui-utilities.js
ext-yui-adapter.js
ext-all.js (or your choice of files)

jQuery (1.1+)：
jquery.js
jquery-plugins.js // required jQuery plugins
ext-jquery-adapter.js
ext-all.js (or your choice of files)

Prototype (1.5+) / Scriptaculous (1.7+)：
prototype.js
scriptaculous.js?load=effects  (or whatever you want to load)
ext-prototype-adapter.js
ext-all.js (or your choice of files)

呵呵，第一個例子就出來了，試試看吧~

Enum作為Sun全新引進的一個關鍵字，看起來很象是特殊的class, 它也可以有自己的變量，可以定義自己的方法，可以實現一個或者多個接口。 當我們在聲明一個enum類型時，我們應該注意到enum類型有如下的一些特征。 

　　1．它不能有public的構造函數，這樣做可以保證客戶代碼沒有辦法新建一個enum的實例。 

　　2．所有枚舉值都是public , static , final的。注意這一點只是針對于枚舉值，我們可以和在普通類里面定義 變量一樣定義其它任何類型的非枚舉變量，這些變量可以用任何你想用的修飾符。 

　　3．Enum默認實現了java.lang.Comparable接口。 

　　4．Enum覆載了了toString方法，因此我們如果調用Color.Blue.toString()默認返回字符串”Blue”. 

　　5．Enum提供了一個valueOf方法，這個方法和toString方法是相對應的。調用valueOf(“Blue”)將返回Color.Blue.因此我們在自己重寫toString方法的時候就要注意到這一點，一把來說應該相對應地重寫valueOf方法。 

　　6．Enum還提供了values方法，這個方法使你能夠方便的遍歷所有的枚舉值。 

　　7．Enum還有一個oridinal的方法，這個方法返回枚舉值在枚舉類種的順序，這個順序根據枚舉值聲明的順序而定，這里Color.Red.ordinal()返回0。 

　　了解了這些基本特性，我們來看看如何使用它們。 

　　1．遍歷所有有枚舉值. 知道了有values方法，我們可以輕車熟路地用ForEach循環來遍歷了枚舉值了。 

　　for (Color c: Color.values()) 
　　System.out.println(“find value:” + c); 

　　2．在enum中定義方法和變量，比如我們可以為Color增加一個方法隨機返回一個顏色。 

　　public enum Color { 
　　Red, 
　　Green, 
　　Blue; 

　　/* 
　　*定義一個變量表示枚舉值的數目。 
　　*(我有點奇怪為什么sun沒有給enum直接提供一個size方法). 
　　*/ 
　　private static int number = Color.values().length ; 

　　/** 
　　* 隨機返回一個枚舉值 
　　@return a random enum value. 
　　*/ 
　　public static Color getRandomColor(){ 
　　long random = System.currentTimeMillis() % number; 
　　switch ((int) random){ 
　　　case 0: 
　　　　return Color.Red; 
　　　case 1: 
　　　　return Color.Green; 
　　　case 2: 
　　　　return Color.Blue; 
　　　default : return Color.Red; 
　　} 
　　} 
　　} 

　　可以看出這在枚舉類型里定義變量和方法和在普通類里面定義方法和變量沒有什么區別。唯一要注意的只是變量和方法定義必須放在所有枚舉值定義的后面，否則編譯器會給出一個錯誤。 

　　3．覆載(Override)toString, valueOf方法 

　　前面我們已經知道enum提供了toString,valueOf等方法，很多時候我們都需要覆載默認的toString方法，那么對于enum我們怎么做呢。其實這和覆載一個普通class的toString方法沒有什么區別。 

　　…. 
　　public String toString(){ 
　　switch (this){ 
　　case Red: 
　　　return "Color.Red"; 
　　case Green: 
　　　return "Color.Green"; 
　　case Blue: 
　　　return "Color.Blue"; 
　　default: 
　　　return "Unknow Color"; 
　　} 
　　} 
　　…. 
　　這時我們可以看到，此時再用前面的遍歷代碼打印出來的是 

　　Color.Red 
　　Color.Green 
　　Color.Blue 

　　而不是 

　　Red 
　　Green 
　　Blue. 

　　可以看到toString確實是被覆載了。一般來說在覆載toString的時候我們同時也應該覆載valueOf方法，以保持它們相互的一致性。 

　　4．使用構造函數 

　　雖然enum不可以有public的構造函數，但是我們還是可以定義private的構造函數，在enum內部使用。還是用Color這個例子。 

　　public enum Color { 
　　Red("This is Red"), 
　　Green("This is Green"), 
　　Blue("This is Blue"); 

　　private String desc; 

　　Color(String desc){ 
　　this.desc = desc; 
　　} 

　　public String getDesc(){ 
　　return this.desc; 
　　} 

　　} 

　　這里我們為每一個顏色提供了一個說明信息, 然后定義了一個構造函數接受這個說明信息。 

　　要注意這里構造函數不能為public或者protected, 從而保證構造函數只能在內部使用，客戶代碼不能new一個枚舉值的實例出來。這也是完全符合情理的，因為我們知道枚舉值是public static final的常量而已。 

　　5．實現特定的接口 

　　我們已經知道enum可以定義變量和方法，它要實現一個接口也和普通class實現一個接口一樣，這里就不作示例了。 

　　6．定義枚舉值自己的方法。 

　　前面我們看到可以為enum定義一些方法，其實我們甚至可以為每一個枚舉值定義方法。這樣，我們前面覆載 toString的例子可以被改寫成這樣。 

　　public enum Color { 
　　Red { 
　　public String toString(){ 
　　　return "Color.Red"; 
　　} 
　　}, 
　　Green { 
　　public String toString(){ 
　　　return "Color.Green"; 
　　} 
　　}, 
　　Blue{ 
　　public String toString(){ 
　　　return "Color.Blue"; 
　　} 
　　}; 
　　} 

　　從邏輯上來說這樣比原先提供一個“全局“的toString方法要清晰一些。 

　　總的來說，enum作為一個全新定義的類型，是希望能夠幫助程序員寫出的代碼更加簡單易懂，個人覺得一般也不需要過多的使用enum的一些高級特性，否則就和簡單易懂的初衷想違背了。  

引自:http://www.it.com.cn/f/edu/053/29/93843.htm