信息采集系統(tǒng)的技術實現(xiàn)

        信息采集系統(tǒng)指的是按標準格式采集指定網絡信息，同搜索引擎的區(qū)別在于其采集的目的性更強，采集源范圍也比較小。這里簡單介紹一下信息采集系統(tǒng)實現(xiàn)上的幾個關鍵問題:

1) 采集網頁數(shù)據(jù)

        VC,Java,VB的網絡通訊功能都足夠實現(xiàn)信息采集，VC中的Get/Post方式可采集網頁信息，也可以直接用socket方式采集，但一般用前一種模式，另外為了提高采集效率都采用多線程技術，在網上的一些Spider程序都是多線程的,可以借鑒.

2) 如何按關鍵字來信息

        信息采集的一大特點是按多個關鍵字將信息拆分出來，例如供求信息中的商機標題、聯(lián)系人、電話、Email、內容等，實現(xiàn)時需要事先定義好這些關鍵字，然后在網頁中搜索，將夾在兩個關鍵字當中的信息采集出來，另外還要注意，網頁中的許多關鍵字是包含空格的，空格數(shù)量也不能確定，例如"郵   件",這就要求在查找關鍵字時要把關鍵字按單個漢字拆開來匹配，遇到中間的空格要跳過去.這一步實現(xiàn)了，信息就會變的非常有規(guī)則，也就可以導入本地庫了.

3) 網頁中的鏈結獲取算法

        了解HTML的應該清楚，網頁中的鏈結都是通過的標簽定義的，但也會分很多情況，例如:  < a href = "...">  這是常見的鏈結格式，但要注意采集出來的鏈結可能是完整的http://...，也可能是相對路徑,要分別處理；  < a href = ''> 用單引號分隔的，所以用算法獲取鏈結的時候要根據(jù)雙引號和單引號兩種標記來分隔；< a href = .. onclick = javascript:view('..','')> 通過javascript的函數(shù)處理鏈結，算法上就麻煩了許多。

4) 無效數(shù)據(jù)的過濾

        即使通過關鍵字的方式摒棄了許多廣告信息，但在關鍵字信息中也會有不少無效數(shù)據(jù)，包括一些信息開頭的空格

5) 特定數(shù)據(jù)的獲取算法

        Email,電話等數(shù)據(jù)符合一定的規(guī)范，一般可以用一些算法提取出來，也可以用正則表達式技術來獲取，在網絡上有不少此類算法.在信息采集中，Email和電話等關鍵信息是比較分散的，需要用提取算法把這些信息提取出來放在正確的位置.這是非常有必要的，因為信息采集系統(tǒng)往往會有郵件群發(fā)的功能.

信息采集的整個流程可總結如下:

 a) 首先，獲取網頁的完整信息

 b) 用算法獲取網頁中的正文信息，即拋棄HTML的標簽文本

 c) 去除多余的空行

 d) 按定義好的關鍵字將信息分隔開

 e) 對信息進行無效數(shù)據(jù)過濾

 f) 信息入本地庫

 g) 獲取網頁中的鏈結，對該鏈結從a)步驟開始重復,但注意網頁中的許多鏈結是廣告或無效的，因此要事先定義好一些鏈結關鍵字，只有包含關鍵字的鏈結才處理

行業(yè)搜索、垂直搜索引擎。

行業(yè)搜索：搜索對象針對所在的行業(yè)，采用類似傳統(tǒng)通用搜索引擎的分詞索引技術，返回關鍵詞最匹配的結果。

垂直搜索：搜索對象針對所在的行業(yè)，采用數(shù)據(jù)采集、數(shù)據(jù)挖掘、數(shù)據(jù)整理等技術，返回經過加工處理的結果。

一、綜合搜索

酷訊www.kooxoo.com ：招聘、房產、汽車、火車票、機票、餐飲、交友、購物、旅游

奇虎www.qihoo.com ：論壇、博客、新聞、招聘、房產、視頻、音樂、圖片、火車票、餐飲、經驗？、折扣

cgogo搜個夠www.cgogo.com ：社區(qū)、招聘、票務、住房、視頻、本地（地圖）、博客、無線

我酷網 www.wooqoo.com                  （五花八門，該有都有）

開拓搜索www.kaitoo.com                  （五花八門，該有都有）

每步搜索 http://cnc.meibu.com/ （綜合）

八百搜www.800so.com （五花八門，該有都有，站內搜索和站外搜索并列）

酷愛 www.koooi.com （網頁 MP3 房產 餐飲 交友 搜人 資源）

soso88   www.soso88.net （政府采購 人才職位 房源地產 建材裝飾）

二、求職招聘： （18）

職友集   www.jobbui.com

搜職網  www.globehr.com

南京搜職網  www.sozhi.cn

托托搜索 www.totojob.com

1010job精英招聘 www.1010job.com

牛耳搜職網 www.newerjob.com

數(shù)字英才（職通車） www.01hr.com

深度搜索 www.deepdo.com

淘職網 www.go2work.com.cn

我搜網 www.alsox.com

校園招聘 www.zhaopinbbs.com

易聘  www.yipin.cc

找工作 www.meijob.com

熱職工作引擎 www.rezhi.com

職場快線 www.jobems.com

職脈搜索 www.jobmet.com

高八斗 www.gao8dou.com         區(qū)域搜索引擎聯(lián)合，在各地都有獨立一級域名，單一數(shù)據(jù)庫。

安徽人才總網 www.ah668.com/rc/ （安徽區(qū)域搜索）

三、房屋房產 （9）

搜房引擎 search.soufun.com

房老大 www.fanglaoda.com

焦點房產seek.focus.cn

家家看網 www.jjto.com

我住網 www.wozhu.com

搜房網 www.sofang.com.cn

尋捕房 www.xpfang.com

房網搜索 www.house163.com

百房 www.100fang.com

四：商務商機、人文 （20）

聯(lián)絡家  http://www.linkist.com/

優(yōu)庫  www.ucloo.com        （搜人 公司 學校 ）

Anyso商業(yè)搜索引擎  www.anyso.com

accoona  www.accoona.cn

國通網 www.guton.com

享者  www.hengzhe.com

品搜 www.pinsou.com

品通 www.joingoo.com

搜商 www.bseek.cn

商搜 www.shangsou.com

商寶 www.b2b8.com

jow  http://jqw.com/

企業(yè)門戶 www.yie.cn

搜庫網 www.souku.com.cn

伊索  http://china.eceel.com/

天網商搜 http://china.eceel.com/

信援 www.xinsos.com

一呼百應 www.youboy.com

易購搜索 www.ego321.com

浙搜 http://zhesou.com/ （區(qū)域性搜索）

五、生活、購物消費 （17）

8848（比較購物）http://esearch.8848.com/

丫丫比較購物 http://askyaya.com/

大拿網（比較購物） http://www.danawa.com.cn/

普加 Pojaa http://www.pojaa.com/

搜狗 http://shopping.sogou.com/

購物搜索www.gobygo.com

中搜http://shopping.zhongsou.com/

Soaso http://www.soaso.com/

搜評網 http://www.souping.com/

無憂城市網 http://www.51city.com

億起搜  http://www.eqiso.com/

365.com  www.365.com （生活搜索綜合）

快搜測評網 www.ksou.com.cn （IT硬件相關）

搜教網 www.soojoo.cn （教育資源相關）

樂遜外賣搜索 www.lexun.com.cn

友買網 www.uobuy.com

馬可波羅 www.makepolo.com/

易購搜索 www.ego321.com

六、地圖公交、出行 （15）

公交查詢 http://www.8684.cn/

瘦驢旅游搜索引擎  http://www.souluu.com/

E都市 http://www.edushi.com/

Mapabc地圖 http://www.mapabc.com/

圖吧  http://main.mapbar.com/

UUMAP http://www.uumap.com/

城市通 http://www.52tong.com/

華夏圖網 http://www.map2china.com/

都市圈－三維地圖 http://www.o.cn/

第1搜 http://www.d1so.com/

都市吧 http://www.city8.com/

活圖網 http://www.livemap.cn/

我要地圖 http://www.51ditu.com/

丁丁地圖 www.ddmap.com

坐車網 http://www1.zuoche.com/ （廣州區(qū)域搜索）

google、百度、搜狗、MSN虛擬地球http://virtualearth.msn.com/

七、醫(yī)療健康

康Q www.kangq.com

Souvv http://search.souvv.com/

醫(yī)搜 http://www.yiso.cc/

放心醫(yī)苑網 http://www.120so.com/

博睿  http://search.chinamtcm.com

八、圖書搜索

愛搜書網 http://www.isoshu.com/

讀秀知識庫 http://www.duxiu.com/

九、分類信息

國通網http://www.guton.com

十、手機搜索引擎

悠悠村  http://www.uucun.com/

儒豹手機搜索 http://www.roboo.com/

十一、軟件IT、BT資源

迅雷資源搜索 http://so.xunlei.com

BT聯(lián)盟搜索引擎 http://search.btchina.net/

BT全球搜索 http://bt.it.com.cn/

BT特工 http://bt.souyo.com/

飛客BT搜索 http://bt.fkee.com/

天天BT 電影 http://www.ttbt.cn/

網游搜索 www.37ss.com

FTP搜索引擎 www.tooooold.com

十二、娛樂綜合、電影、音樂等

搜刮  http://www.sogua.com/

易搜 http://bt.souyo.com/               （娛樂綜合、軟件IT、游戲、電影）

OpenV開放視頻 http://www.openv.tv/

第九頻道 www.tvix.cn

動漫搜索 http://share.greedland.net/

奇客網 http://v.qirss.com/

CCTV視頻搜索 http://vsearch.cctv.com/

優(yōu)酷視頻搜索  http://www.youku.com/

十三、電視節(jié)目

電視貓  www.tvmao.com

e準 - 電視節(jié)目預告 www.ezhun.com

搜視網 http://www.tvsou.com/

我愛電視劇 http://www.5idsj.com/ （劇情搜索）

十四、博客、論壇搜索

貼易 http://search.teein.com/

Souyo http://www.souyo.com/

博狗 http://www.blogool.com/

大旗 http://search.chinabbs.com/

博客查號臺  http://www.blog114.com.cn/

博搜 http://www.booso.com/

中文RSS搜索 http://www.booso.com/

名人博客 http://www.starlogs.com/

中國博客網搜索 http://search.blogcn.com/

十五、其它

搜農 www.sounong.net （來自安徽的和農業(yè)相關綜合搜索引擎）

農搜 www.agrisou.com

性搜 http://www.sinsoo.com/

中國建筑黃頁 www.agoo.com.cn

搜網（圖片搜索） http://home.souwang.com/

金聚網（游戲搜索） http://www.jj160.com/

游戲網（搜索引擎？）http://ks.pcgames.com.cn/

樂虎網（手機圖片） http://www.joyhoo.com/

全國駕校搜索 www.jxedt.com

個性搜索       www.deyeb.cn

   引言

數(shù)據(jù)挖掘(Data Mining，DM)是從大量數(shù)據(jù)中提取或“挖掘”知識，是從存放在數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫中的大量數(shù)據(jù)中挖掘有趣知識的過程。[1] 隨著網絡的不斷發(fā)展，因特網目前已成為一個巨大的、分布廣泛的和全球性的信息服務中心。從海量的網絡信息中尋找有用的知識，早已成為人們的迫切需求。各種類似Google、Baidu等的搜索引擎也層出不窮，Web數(shù)據(jù)挖掘的應用在現(xiàn)實中不斷體現(xiàn)。

Web數(shù)據(jù)挖掘建立在對大量的網絡數(shù)據(jù)進行分析的基礎上，采用相應的數(shù)據(jù)挖掘算法，在具體的應用模型上進行數(shù)據(jù)的提取、數(shù)據(jù)篩選、數(shù)據(jù)轉換、數(shù)據(jù)挖掘和模式分析，最后做出歸納性的推理、預測客戶的個性化行為以及用戶習慣，從而幫助進行決策和管理，減少決策的風險。

Web數(shù)據(jù)挖掘涉及多個領域，除數(shù)據(jù)挖掘外，還涉及計算機網絡、數(shù)據(jù)庫與數(shù)據(jù)倉儲、人工智能、信息檢索、可視化、自然語言理解等技術。

2   Web數(shù)據(jù)挖掘面臨的問題

Web的巨大、分布廣泛和內容多樣使得目前的Web挖掘面臨著眾多問題和挑戰(zhàn)。首先，對有效的數(shù)據(jù)倉庫和數(shù)據(jù)挖掘來說，Web上的數(shù)據(jù)過于龐大。而且，Web上的數(shù)據(jù)具有極強的動態(tài)性，不僅數(shù)量增長快而且更新十分迅速。但是面對如此大量的Web上的信息，有調查卻表明：99%的Web信息對于99%的用戶是無用的。這樣看來，面對網絡上形形色色各式各樣的用戶群體，許多由Web搜索引擎所檢索到的資料將會被淹沒。

另外，由于Web頁面缺乏同一的結構，其結構又比任何傳統(tǒng)文本文檔都要復雜，所以要實現(xiàn)基于Web的數(shù)據(jù)挖掘和信息檢索在目前來說是非常具有挑戰(zhàn)性的。

3   Web數(shù)據(jù)挖掘的分類

Web數(shù)據(jù)挖掘是一項具有挑戰(zhàn)性的課題。它實現(xiàn)對Web存取模式，Web結構和規(guī)則，以及動態(tài)的Web內容的查找。一般來說，Web數(shù)據(jù)挖掘可分為四類：Web內容挖掘、Web結構挖掘、Web使用記錄挖掘和Web用戶性質挖掘。其中，Web內容挖掘、Web結構挖掘和Web使用記錄挖掘是Web1.0時代就已經有了的，而Web用戶性質挖掘則是伴隨著Web2.0的出現(xiàn)而出現(xiàn)的。

3.1 Web內容挖掘

Web內容挖掘主要包括文本挖掘和多媒體挖掘兩類，其對象包括文本、圖像、音頻、視頻、多媒體和其他各種類型的數(shù)據(jù)。這些數(shù)據(jù)一般由非結構化的數(shù)據(jù)(如文本) 、半結構化的數(shù)據(jù)(如HTML 文檔) 和結構化的數(shù)據(jù)(如表格) 構成。對非結構化文本進行的Web挖掘，稱為文本數(shù)據(jù)挖掘或文本挖掘，是Web挖掘中比較重要的技術領域。Web挖掘中另一個比較重要的技術領域是Web多媒體數(shù)據(jù)挖掘。

目前，關于Web內容挖掘的研究大體以Web文本內容挖掘為主。Web內容挖掘一般從資源查找和數(shù)據(jù)庫兩個不同的方面進行研究。

從資源查找的方面來看，Web內容挖掘的任務是從用戶的角度出發(fā)，怎樣提高信息質量和幫助用戶過濾信息。主要是對非結構化文檔和半結構化文檔的挖掘。非結構化文檔主要指Web上的自由文本，如小說、新聞等。Web上的半結構化文檔挖掘指在加入了HTML、超鏈接等附加結構的信息上進行挖掘，其應用包括超鏈接文本的分類、聚類、發(fā)現(xiàn)文檔之間的關系、提出半結構化文檔中的模式和規(guī)則等。

從數(shù)據(jù)庫的觀點進行Web內容挖掘主要是試圖建立Web站點的數(shù)據(jù)模型并加以集成， 以支持復雜查詢，而不只是簡單的基于關鍵詞的搜索。這要通過找到Web文檔的模式、建立Web知識庫來實現(xiàn)。

對文本數(shù)據(jù)進行挖掘的文檔分類和模型質量評價方法與傳統(tǒng)的數(shù)據(jù)挖掘方法相類似，分類算法主要應用樸素貝葉斯(Naive Bayes Classifier)。對模型的質量評價主要有分類的正確率(Classification Accuracy)、準確率( Precision)和信息估值( Information Score)。 SAAS

Web多媒體數(shù)據(jù)挖掘從多媒體數(shù)據(jù)庫中提取隱藏的知識、多媒體數(shù)據(jù)關聯(lián)、或者是其他沒有直接儲存在多媒體數(shù)據(jù)庫中的模式。多媒體數(shù)據(jù)挖掘包括對圖像、視頻和聲音的挖掘。多媒體挖掘首先進行特征提取，然后再應用傳統(tǒng)的數(shù)據(jù)挖掘方法進行進一步的信息挖掘。對網頁中的多媒體數(shù)據(jù)進行特征的提取，應充分利用HTML的標簽信息。[3]

3.2 Web結構挖掘

由于有用的知識不僅包含在Web頁面的內容中，而且也包含在頁面的結構中。所以Web結構挖掘是從站點的組織結構和頁面結構中推導出知識，對Web頁面間的結構進行挖掘，找出數(shù)據(jù)鏈的結構進行分類、聚類，從而發(fā)現(xiàn)頁面間的關系，進而改進搜索引擎的性能。

Web結構挖掘的對象是Web本身的超鏈接，即對Web文檔的結構進行挖掘。Web結構挖掘的基本思想是將Web看作一個有向圖，他的頂點是Web頁面，頁面間的超鏈就是圖的邊。然后利用圖論對Web的拓撲結構進行分析。常見的算法有HITS ( Hypertext Induced Topic Search) 、PageRank、發(fā)現(xiàn)虛擬社區(qū)的算法、發(fā)現(xiàn)相似頁面的算法、發(fā)現(xiàn)地理位置的算法和頁面分類算法。Web結構挖掘的算法一般可分為查詢相關算法和查詢無關算法兩類。查詢相關算法需要為每一個查詢進行一次超鏈分析從而進行一次值的指派;而查詢獨立算法則為每個文檔僅進行一次值的指派，對所有的查詢都使用此值。HITS和PageRank分別是查詢相關算法和查詢獨立算法的代表。

4   結束語

Web數(shù)據(jù)挖掘是當今世界上的熱門研究領域，其研究具有廣闊的應用前景和巨大的現(xiàn)實意義。目前國內的Web數(shù)據(jù)挖掘尚處于學習、跟蹤和探索階段。Web數(shù)據(jù)挖掘有許多問題有待于進一步的研究和深化。Web2.0的出現(xiàn)給Web數(shù)據(jù)挖掘提出了新的要求。基于Web2.0的數(shù)據(jù)挖掘目前還處于起步階段，它必將成為Web數(shù)據(jù)挖掘中很重要的一個研究領域。