信息采集系統(tǒng)的技術(shù)實(shí)現(xiàn)

        信息采集系統(tǒng)指的是按標(biāo)準(zhǔn)格式采集指定網(wǎng)絡(luò)信息，同搜索引擎的區(qū)別在于其采集的目的性更強(qiáng)，采集源范圍也比較小。這里簡(jiǎn)單介紹一下信息采集系統(tǒng)實(shí)現(xiàn)上的幾個(gè)關(guān)鍵問題:

1) 采集網(wǎng)頁數(shù)據(jù)

        VC,Java,VB的網(wǎng)絡(luò)通訊功能都足夠?qū)崿F(xiàn)信息采集，VC中的Get/Post方式可采集網(wǎng)頁信息，也可以直接用socket方式采集，但一般用前一種模式，另外為了提高采集效率都采用多線程技術(shù)，在網(wǎng)上的一些Spider程序都是多線程的,可以借鑒.

2) 如何按關(guān)鍵字來信息

        信息采集的一大特點(diǎn)是按多個(gè)關(guān)鍵字將信息拆分出來，例如供求信息中的商機(jī)標(biāo)題、聯(lián)系人、電話、Email、內(nèi)容等，實(shí)現(xiàn)時(shí)需要事先定義好這些關(guān)鍵字，然后在網(wǎng)頁中搜索，將夾在兩個(gè)關(guān)鍵字當(dāng)中的信息采集出來，另外還要注意，網(wǎng)頁中的許多關(guān)鍵字是包含空格的，空格數(shù)量也不能確定，例如"郵   件",這就要求在查找關(guān)鍵字時(shí)要把關(guān)鍵字按單個(gè)漢字拆開來匹配，遇到中間的空格要跳過去.這一步實(shí)現(xiàn)了，信息就會(huì)變的非常有規(guī)則，也就可以導(dǎo)入本地庫了.

3) 網(wǎng)頁中的鏈結(jié)獲取算法

        了解HTML的應(yīng)該清楚，網(wǎng)頁中的鏈結(jié)都是通過的標(biāo)簽定義的，但也會(huì)分很多情況，例如:  < a href = "...">  這是常見的鏈結(jié)格式，但要注意采集出來的鏈結(jié)可能是完整的http://...，也可能是相對(duì)路徑,要分別處理；  < a href = ''> 用單引號(hào)分隔的，所以用算法獲取鏈結(jié)的時(shí)候要根據(jù)雙引號(hào)和單引號(hào)兩種標(biāo)記來分隔；< a href = .. onclick = javascript:view('..','')> 通過javascript的函數(shù)處理鏈結(jié)，算法上就麻煩了許多。

4) 無效數(shù)據(jù)的過濾

        即使通過關(guān)鍵字的方式摒棄了許多廣告信息，但在關(guān)鍵字信息中也會(huì)有不少無效數(shù)據(jù)，包括一些信息開頭的空格

5) 特定數(shù)據(jù)的獲取算法

        Email,電話等數(shù)據(jù)符合一定的規(guī)范，一般可以用一些算法提取出來，也可以用正則表達(dá)式技術(shù)來獲取，在網(wǎng)絡(luò)上有不少此類算法.在信息采集中，Email和電話等關(guān)鍵信息是比較分散的，需要用提取算法把這些信息提取出來放在正確的位置.這是非常有必要的，因?yàn)樾畔⒉杉到y(tǒng)往往會(huì)有郵件群發(fā)的功能.

信息采集的整個(gè)流程可總結(jié)如下:

 a) 首先，獲取網(wǎng)頁的完整信息

 b) 用算法獲取網(wǎng)頁中的正文信息，即拋棄HTML的標(biāo)簽文本

 c) 去除多余的空行

 d) 按定義好的關(guān)鍵字將信息分隔開

 e) 對(duì)信息進(jìn)行無效數(shù)據(jù)過濾

 f) 信息入本地庫

 g) 獲取網(wǎng)頁中的鏈結(jié)，對(duì)該鏈結(jié)從a)步驟開始重復(fù),但注意網(wǎng)頁中的許多鏈結(jié)是廣告或無效的，因此要事先定義好一些鏈結(jié)關(guān)鍵字，只有包含關(guān)鍵字的鏈結(jié)才處理

行業(yè)搜索、垂直搜索引擎。

行業(yè)搜索：搜索對(duì)象針對(duì)所在的行業(yè)，采用類似傳統(tǒng)通用搜索引擎的分詞索引技術(shù)，返回關(guān)鍵詞最匹配的結(jié)果。

垂直搜索：搜索對(duì)象針對(duì)所在的行業(yè)，采用數(shù)據(jù)采集、數(shù)據(jù)挖掘、數(shù)據(jù)整理等技術(shù)，返回經(jīng)過加工處理的結(jié)果。

一、綜合搜索

酷訊www.kooxoo.com ：招聘、房產(chǎn)、汽車、火車票、機(jī)票、餐飲、交友、購物、旅游

奇虎www.qihoo.com ：論壇、博客、新聞、招聘、房產(chǎn)、視頻、音樂、圖片、火車票、餐飲、經(jīng)驗(yàn)？、折扣

cgogo搜個(gè)夠www.cgogo.com ：社區(qū)、招聘、票務(wù)、住房、視頻、本地（地圖）、博客、無線

我酷網(wǎng) www.wooqoo.com                  （五花八門，該有都有）

開拓搜索www.kaitoo.com                  （五花八門，該有都有）

每步搜索 http://cnc.meibu.com/ （綜合）

八百搜www.800so.com （五花八門，該有都有，站內(nèi)搜索和站外搜索并列）

酷愛 www.koooi.com （網(wǎng)頁 MP3 房產(chǎn) 餐飲 交友 搜人 資源）

soso88   www.soso88.net （政府采購 人才職位 房源地產(chǎn) 建材裝飾）

二、求職招聘： （18）

職友集   www.jobbui.com

搜職網(wǎng)  www.globehr.com

南京搜職網(wǎng)  www.sozhi.cn

托托搜索 www.totojob.com

1010job精英招聘 www.1010job.com

牛耳搜職網(wǎng) www.newerjob.com

數(shù)字英才（職通車） www.01hr.com

深度搜索 www.deepdo.com

淘職網(wǎng) www.go2work.com.cn

我搜網(wǎng) www.alsox.com

校園招聘 www.zhaopinbbs.com

易聘  www.yipin.cc

找工作 www.meijob.com

熱職工作引擎 www.rezhi.com

職場(chǎng)快線 www.jobems.com

職脈搜索 www.jobmet.com

高八斗 www.gao8dou.com         區(qū)域搜索引擎聯(lián)合，在各地都有獨(dú)立一級(jí)域名，單一數(shù)據(jù)庫。

安徽人才總網(wǎng) www.ah668.com/rc/ （安徽區(qū)域搜索）

三、房屋房產(chǎn) （9）

搜房引擎 search.soufun.com

房老大 www.fanglaoda.com

焦點(diǎn)房產(chǎn)seek.focus.cn

家家看網(wǎng) www.jjto.com

我住網(wǎng) www.wozhu.com

搜房網(wǎng) www.sofang.com.cn

尋捕房 www.xpfang.com

房網(wǎng)搜索 www.house163.com

百房 www.100fang.com

四：商務(wù)商機(jī)、人文 （20）

聯(lián)絡(luò)家  http://www.linkist.com/

優(yōu)庫  www.ucloo.com        （搜人 公司 學(xué)校 ）

Anyso商業(yè)搜索引擎  www.anyso.com

accoona  www.accoona.cn

國(guó)通網(wǎng) www.guton.com

享者  www.hengzhe.com

品搜 www.pinsou.com

品通 www.joingoo.com

搜商 www.bseek.cn

商搜 www.shangsou.com

商寶 www.b2b8.com

jow  http://jqw.com/

企業(yè)門戶 www.yie.cn

搜庫網(wǎng) www.souku.com.cn

伊索  http://china.eceel.com/

天網(wǎng)商搜 http://china.eceel.com/

信援 www.xinsos.com

一呼百應(yīng) www.youboy.com

易購搜索 www.ego321.com

浙搜 http://zhesou.com/ （區(qū)域性搜索）

五、生活、購物消費(fèi) （17）

8848（比較購物）http://esearch.8848.com/

丫丫比較購物 http://askyaya.com/

大拿網(wǎng)（比較購物） http://www.danawa.com.cn/

普加 Pojaa http://www.pojaa.com/

搜狗 http://shopping.sogou.com/

購物搜索www.gobygo.com

中搜http://shopping.zhongsou.com/

Soaso http://www.soaso.com/

搜評(píng)網(wǎng) http://www.souping.com/

無憂城市網(wǎng) http://www.51city.com

億起搜  http://www.eqiso.com/

365.com  www.365.com （生活搜索綜合）

快搜測(cè)評(píng)網(wǎng) www.ksou.com.cn （IT硬件相關(guān)）

搜教網(wǎng) www.soojoo.cn （教育資源相關(guān)）

樂遜外賣搜索 www.lexun.com.cn

友買網(wǎng) www.uobuy.com

馬可波羅 www.makepolo.com/

易購搜索 www.ego321.com

六、地圖公交、出行 （15）

公交查詢 http://www.8684.cn/

瘦驢旅游搜索引擎  http://www.souluu.com/

E都市 http://www.edushi.com/

Mapabc地圖 http://www.mapabc.com/

圖吧  http://main.mapbar.com/

UUMAP http://www.uumap.com/

城市通 http://www.52tong.com/

華夏圖網(wǎng) http://www.map2china.com/

都市圈－三維地圖 http://www.o.cn/

第1搜 http://www.d1so.com/

都市吧 http://www.city8.com/

活圖網(wǎng) http://www.livemap.cn/

我要地圖 http://www.51ditu.com/

丁丁地圖 www.ddmap.com

坐車網(wǎng) http://www1.zuoche.com/ （廣州區(qū)域搜索）

google、百度、搜狗、MSN虛擬地球http://virtualearth.msn.com/

七、醫(yī)療健康

康Q www.kangq.com

Souvv http://search.souvv.com/

醫(yī)搜 http://www.yiso.cc/

放心醫(yī)苑網(wǎng) http://www.120so.com/

博睿  http://search.chinamtcm.com

八、圖書搜索

愛搜書網(wǎng) http://www.isoshu.com/

讀秀知識(shí)庫 http://www.duxiu.com/

九、分類信息

國(guó)通網(wǎng)http://www.guton.com

十、手機(jī)搜索引擎

悠悠村  http://www.uucun.com/

儒豹手機(jī)搜索 http://www.roboo.com/

十一、軟件IT、BT資源

迅雷資源搜索 http://so.xunlei.com

BT聯(lián)盟搜索引擎 http://search.btchina.net/

BT全球搜索 http://bt.it.com.cn/

BT特工 http://bt.souyo.com/

飛客BT搜索 http://bt.fkee.com/

天天BT 電影 http://www.ttbt.cn/

網(wǎng)游搜索 www.37ss.com

FTP搜索引擎 www.tooooold.com

十二、娛樂綜合、電影、音樂等

搜刮  http://www.sogua.com/

易搜 http://bt.souyo.com/               （娛樂綜合、軟件IT、游戲、電影）

OpenV開放視頻 http://www.openv.tv/

第九頻道 www.tvix.cn

動(dòng)漫搜索 http://share.greedland.net/

奇客網(wǎng) http://v.qirss.com/

CCTV視頻搜索 http://vsearch.cctv.com/

優(yōu)酷視頻搜索  http://www.youku.com/

十三、電視節(jié)目

電視貓  www.tvmao.com

e準(zhǔn) - 電視節(jié)目預(yù)告 www.ezhun.com

搜視網(wǎng) http://www.tvsou.com/

我愛電視劇 http://www.5idsj.com/ （劇情搜索）

十四、博客、論壇搜索

貼易 http://search.teein.com/

Souyo http://www.souyo.com/

博狗 http://www.blogool.com/

大旗 http://search.chinabbs.com/

博客查號(hào)臺(tái)  http://www.blog114.com.cn/

博搜 http://www.booso.com/

中文RSS搜索 http://www.booso.com/

名人博客 http://www.starlogs.com/

中國(guó)博客網(wǎng)搜索 http://search.blogcn.com/

十五、其它

搜農(nóng) www.sounong.net （來自安徽的和農(nóng)業(yè)相關(guān)綜合搜索引擎）

農(nóng)搜 www.agrisou.com

性搜 http://www.sinsoo.com/

中國(guó)建筑黃頁 www.agoo.com.cn

搜網(wǎng)（圖片搜索） http://home.souwang.com/

金聚網(wǎng)（游戲搜索） http://www.jj160.com/

游戲網(wǎng)（搜索引擎？）http://ks.pcgames.com.cn/

樂虎網(wǎng)（手機(jī)圖片） http://www.joyhoo.com/

全國(guó)駕校搜索 www.jxedt.com

個(gè)性搜索       www.deyeb.cn

   引言

數(shù)據(jù)挖掘(Data Mining，DM)是從大量數(shù)據(jù)中提取或“挖掘”知識(shí)，是從存放在數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫中的大量數(shù)據(jù)中挖掘有趣知識(shí)的過程。[1] 隨著網(wǎng)絡(luò)的不斷發(fā)展，因特網(wǎng)目前已成為一個(gè)巨大的、分布廣泛的和全球性的信息服務(wù)中心。從海量的網(wǎng)絡(luò)信息中尋找有用的知識(shí)，早已成為人們的迫切需求。各種類似Google、Baidu等的搜索引擎也層出不窮，Web數(shù)據(jù)挖掘的應(yīng)用在現(xiàn)實(shí)中不斷體現(xiàn)。

Web數(shù)據(jù)挖掘建立在對(duì)大量的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分析的基礎(chǔ)上，采用相應(yīng)的數(shù)據(jù)挖掘算法，在具體的應(yīng)用模型上進(jìn)行數(shù)據(jù)的提取、數(shù)據(jù)篩選、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)挖掘和模式分析，最后做出歸納性的推理、預(yù)測(cè)客戶的個(gè)性化行為以及用戶習(xí)慣，從而幫助進(jìn)行決策和管理，減少?zèng)Q策的風(fēng)險(xiǎn)。

Web數(shù)據(jù)挖掘涉及多個(gè)領(lǐng)域，除數(shù)據(jù)挖掘外，還涉及計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)據(jù)庫與數(shù)據(jù)倉儲(chǔ)、人工智能、信息檢索、可視化、自然語言理解等技術(shù)。

2   Web數(shù)據(jù)挖掘面臨的問題

Web的巨大、分布廣泛和內(nèi)容多樣使得目前的Web挖掘面臨著眾多問題和挑戰(zhàn)。首先，對(duì)有效的數(shù)據(jù)倉庫和數(shù)據(jù)挖掘來說，Web上的數(shù)據(jù)過于龐大。而且，Web上的數(shù)據(jù)具有極強(qiáng)的動(dòng)態(tài)性，不僅數(shù)量增長(zhǎng)快而且更新十分迅速。但是面對(duì)如此大量的Web上的信息，有調(diào)查卻表明：99%的Web信息對(duì)于99%的用戶是無用的。這樣看來，面對(duì)網(wǎng)絡(luò)上形形色色各式各樣的用戶群體，許多由Web搜索引擎所檢索到的資料將會(huì)被淹沒。

另外，由于Web頁面缺乏同一的結(jié)構(gòu)，其結(jié)構(gòu)又比任何傳統(tǒng)文本文檔都要復(fù)雜，所以要實(shí)現(xiàn)基于Web的數(shù)據(jù)挖掘和信息檢索在目前來說是非常具有挑戰(zhàn)性的。

3   Web數(shù)據(jù)挖掘的分類

Web數(shù)據(jù)挖掘是一項(xiàng)具有挑戰(zhàn)性的課題。它實(shí)現(xiàn)對(duì)Web存取模式，Web結(jié)構(gòu)和規(guī)則，以及動(dòng)態(tài)的Web內(nèi)容的查找。一般來說，Web數(shù)據(jù)挖掘可分為四類：Web內(nèi)容挖掘、Web結(jié)構(gòu)挖掘、Web使用記錄挖掘和Web用戶性質(zhì)挖掘。其中，Web內(nèi)容挖掘、Web結(jié)構(gòu)挖掘和Web使用記錄挖掘是Web1.0時(shí)代就已經(jīng)有了的，而Web用戶性質(zhì)挖掘則是伴隨著Web2.0的出現(xiàn)而出現(xiàn)的。

3.1 Web內(nèi)容挖掘

Web內(nèi)容挖掘主要包括文本挖掘和多媒體挖掘兩類，其對(duì)象包括文本、圖像、音頻、視頻、多媒體和其他各種類型的數(shù)據(jù)。這些數(shù)據(jù)一般由非結(jié)構(gòu)化的數(shù)據(jù)(如文本) 、半結(jié)構(gòu)化的數(shù)據(jù)(如HTML 文檔) 和結(jié)構(gòu)化的數(shù)據(jù)(如表格) 構(gòu)成。對(duì)非結(jié)構(gòu)化文本進(jìn)行的Web挖掘，稱為文本數(shù)據(jù)挖掘或文本挖掘，是Web挖掘中比較重要的技術(shù)領(lǐng)域。Web挖掘中另一個(gè)比較重要的技術(shù)領(lǐng)域是Web多媒體數(shù)據(jù)挖掘。

目前，關(guān)于Web內(nèi)容挖掘的研究大體以Web文本內(nèi)容挖掘?yàn)橹鳌eb內(nèi)容挖掘一般從資源查找和數(shù)據(jù)庫兩個(gè)不同的方面進(jìn)行研究。

從資源查找的方面來看，Web內(nèi)容挖掘的任務(wù)是從用戶的角度出發(fā)，怎樣提高信息質(zhì)量和幫助用戶過濾信息。主要是對(duì)非結(jié)構(gòu)化文檔和半結(jié)構(gòu)化文檔的挖掘。非結(jié)構(gòu)化文檔主要指Web上的自由文本，如小說、新聞等。Web上的半結(jié)構(gòu)化文檔挖掘指在加入了HTML、超鏈接等附加結(jié)構(gòu)的信息上進(jìn)行挖掘，其應(yīng)用包括超鏈接文本的分類、聚類、發(fā)現(xiàn)文檔之間的關(guān)系、提出半結(jié)構(gòu)化文檔中的模式和規(guī)則等。

從數(shù)據(jù)庫的觀點(diǎn)進(jìn)行Web內(nèi)容挖掘主要是試圖建立Web站點(diǎn)的數(shù)據(jù)模型并加以集成， 以支持復(fù)雜查詢，而不只是簡(jiǎn)單的基于關(guān)鍵詞的搜索。這要通過找到Web文檔的模式、建立Web知識(shí)庫來實(shí)現(xiàn)。

對(duì)文本數(shù)據(jù)進(jìn)行挖掘的文檔分類和模型質(zhì)量評(píng)價(jià)方法與傳統(tǒng)的數(shù)據(jù)挖掘方法相類似，分類算法主要應(yīng)用樸素貝葉斯(Naive Bayes Classifier)。對(duì)模型的質(zhì)量評(píng)價(jià)主要有分類的正確率(Classification Accuracy)、準(zhǔn)確率( Precision)和信息估值( Information Score)。 SAAS

Web多媒體數(shù)據(jù)挖掘從多媒體數(shù)據(jù)庫中提取隱藏的知識(shí)、多媒體數(shù)據(jù)關(guān)聯(lián)、或者是其他沒有直接儲(chǔ)存在多媒體數(shù)據(jù)庫中的模式。多媒體數(shù)據(jù)挖掘包括對(duì)圖像、視頻和聲音的挖掘。多媒體挖掘首先進(jìn)行特征提取，然后再應(yīng)用傳統(tǒng)的數(shù)據(jù)挖掘方法進(jìn)行進(jìn)一步的信息挖掘。對(duì)網(wǎng)頁中的多媒體數(shù)據(jù)進(jìn)行特征的提取，應(yīng)充分利用HTML的標(biāo)簽信息。[3]

3.2 Web結(jié)構(gòu)挖掘

由于有用的知識(shí)不僅包含在Web頁面的內(nèi)容中，而且也包含在頁面的結(jié)構(gòu)中。所以Web結(jié)構(gòu)挖掘是從站點(diǎn)的組織結(jié)構(gòu)和頁面結(jié)構(gòu)中推導(dǎo)出知識(shí)，對(duì)Web頁面間的結(jié)構(gòu)進(jìn)行挖掘，找出數(shù)據(jù)鏈的結(jié)構(gòu)進(jìn)行分類、聚類，從而發(fā)現(xiàn)頁面間的關(guān)系，進(jìn)而改進(jìn)搜索引擎的性能。

Web結(jié)構(gòu)挖掘的對(duì)象是Web本身的超鏈接，即對(duì)Web文檔的結(jié)構(gòu)進(jìn)行挖掘。Web結(jié)構(gòu)挖掘的基本思想是將Web看作一個(gè)有向圖，他的頂點(diǎn)是Web頁面，頁面間的超鏈就是圖的邊。然后利用圖論對(duì)Web的拓?fù)浣Y(jié)構(gòu)進(jìn)行分析。常見的算法有HITS ( Hypertext Induced Topic Search) 、PageRank、發(fā)現(xiàn)虛擬社區(qū)的算法、發(fā)現(xiàn)相似頁面的算法、發(fā)現(xiàn)地理位置的算法和頁面分類算法。Web結(jié)構(gòu)挖掘的算法一般可分為查詢相關(guān)算法和查詢無關(guān)算法兩類。查詢相關(guān)算法需要為每一個(gè)查詢進(jìn)行一次超鏈分析從而進(jìn)行一次值的指派;而查詢獨(dú)立算法則為每個(gè)文檔僅進(jìn)行一次值的指派，對(duì)所有的查詢都使用此值。HITS和PageRank分別是查詢相關(guān)算法和查詢獨(dú)立算法的代表。

4   結(jié)束語

Web數(shù)據(jù)挖掘是當(dāng)今世界上的熱門研究領(lǐng)域，其研究具有廣闊的應(yīng)用前景和巨大的現(xiàn)實(shí)意義。目前國(guó)內(nèi)的Web數(shù)據(jù)挖掘尚處于學(xué)習(xí)、跟蹤和探索階段。Web數(shù)據(jù)挖掘有許多問題有待于進(jìn)一步的研究和深化。Web2.0的出現(xiàn)給Web數(shù)據(jù)挖掘提出了新的要求。基于Web2.0的數(shù)據(jù)挖掘目前還處于起步階段，它必將成為Web數(shù)據(jù)挖掘中很重要的一個(gè)研究領(lǐng)域。

Ext Stand-alone：
ext-base.js
ext-all.js (or your choice of files)

Yahoo! UI (.12+)：
yui-utilities.js
ext-yui-adapter.js
ext-all.js (or your choice of files)

jQuery (1.1+)：
jquery.js
jquery-plugins.js // required jQuery plugins
ext-jquery-adapter.js
ext-all.js (or your choice of files)

Prototype (1.5+) / Scriptaculous (1.7+)：
prototype.js
scriptaculous.js?load=effects  (or whatever you want to load)
ext-prototype-adapter.js
ext-all.js (or your choice of files)

呵呵，第一個(gè)例子就出來了，試試看吧~