最近網(wǎng)絡(luò)上關(guān)于分詞的算法已經(jīng)很多了,在實(shí)際應(yīng)用中每個(gè)人根據(jù)對(duì)分詞的不同理解寫(xiě)了不同的中文分詞算法,可謂百花齊放.
    但現(xiàn)在似乎還沒(méi)有針對(duì)未登陸詞的識(shí)別算法,有鑒于此,我特地寫(xiě)了一個(gè),拋磚引玉.

    算法的假設(shè):
    1. 未登陸詞是由單字組成的;
    2. 如果一個(gè)字同時(shí)屬于2個(gè)未登陸詞,那么只選擇第一被識(shí)別的詞;

    測(cè)試文章:
    最近電視劇大長(zhǎng)今很火,我就選取了介紹大長(zhǎng)今的文章,
    地址:http://www.360doc.com/showWeb/0/0/18183.aspx
    識(shí)別結(jié)果如下:
        PDH : initialize phrase dictionary
        QuerySpliter reInitialize dictionary.
        長(zhǎng)今,職場(chǎng),閔政浩,韓劇,鄭云白,連生,主簿,冷廟高香,義字,醫(yī)女,張德,剩者,濟(jì)州,選撥,文秘

    算法原理:
    首先找出已經(jīng)分詞后的單字,然后查看單字的下一個(gè)是否還是單字,如果是,判斷這種情況出現(xiàn)的次數(shù),如果超過(guò)預(yù)訂的閥值,那么就確認(rèn)這是一個(gè)新詞.
    下面是一個(gè)算法的計(jì)算過(guò)程展示:
    PDH : initialize phrase dictionary
    QuerySpliter reInitialize dictionary.
    >>>8,9;9,10
    長(zhǎng)今
    >>>237,238;238,239
    職場(chǎng)
    >>>595,596;596,597;597,598
    閔政浩
    >>>189,190;190,191
    韓劇
    >>>1111,1112;1112,1113;1113,1114
    鄭云白
    >>>599,600;600,601
    連生
    >>>610,611;611,612
    主簿
    >>>975,976;976,977;977,978;978,979
    冷廟高香
    >>>1233,1234;1234,1235
    義字
    >>>559,560;560,561
    醫(yī)女
    >>>561,562;562,563
    張德
    >>>3114,3115;3115,3116
    剩者
    >>>534,535;535,536
    濟(jì)州
    >>>580,581;581,582
    選撥
    >>>2071,2072;2072,2073
    文秘
    本算法是在:小叮咚分詞的基礎(chǔ)上進(jìn)行的.
    歡迎大家一起交流,改進(jìn)這個(gè)算法.
       
    相關(guān)連接:
             

     原帖地址

什么是垂直搜索引擎（之二）

垂直搜索引擎的三個(gè)特點(diǎn)：

1、垂直搜索引擎抓取的數(shù)據(jù)來(lái)源于垂直搜索引擎關(guān)注的行業(yè)站點(diǎn)：
    比如：找工作的搜索引擎 www.deepdo.com 的數(shù)據(jù)來(lái)源于：www.51job.com , www.zhaoping.com , www.chinahr.com 等等；
          股票搜索引擎 www.macd.cn 的數(shù)據(jù)來(lái)源于： www.jrj.com.cn , www.gutx.com 等股票站點(diǎn)；
2、垂直搜索引擎抓取的數(shù)據(jù)傾向于結(jié)構(gòu)化數(shù)據(jù)和元數(shù)據(jù)：
    比如：我們找工作關(guān)注的：
        職位信息： 軟件工程師；
        公司名稱(chēng)，行業(yè)名稱(chēng)：軟件公司，外包行業(yè)等；
        地點(diǎn)：北京，海淀；
3、垂直搜索引擎的搜索行為是基于結(jié)構(gòu)化數(shù)據(jù)和元數(shù)據(jù)的結(jié)構(gòu)化搜索：
        比如： 找：海淀 軟件工程師 的工作等。

垂直搜索引擎站點(diǎn)的8條準(zhǔn)則：

1、選擇一個(gè)好的垂直搜索方向。俗話說(shuō)男怕選錯(cuò)行，這一點(diǎn)對(duì)于搜索引擎來(lái)說(shuō)也是一樣的，除了選擇的這個(gè)行業(yè)有垂直搜索的大量需求外，這個(gè)行業(yè)的數(shù)據(jù)屬性最好不要和
Yahoo,Google等通用搜索的的抓取方向重疊。
    目前熱門(mén)的垂直搜索行業(yè)有：購(gòu)物，旅游，汽車(chē)，工作，房產(chǎn)，交友等行業(yè)。搜索引擎對(duì)動(dòng)態(tài)url數(shù)據(jù)不敏感也是眾所周知的，這些可以作為垂直搜索引擎的切入點(diǎn)；

2、評(píng)價(jià)所選垂直搜索行業(yè)的網(wǎng)站、垂直搜索內(nèi)容、行業(yè)構(gòu)成等情況：
    我們都知道垂直搜索引擎并不提供內(nèi)容來(lái)源，它的數(shù)據(jù)依賴爬蟲(chóng)搜集，并做了深度加工而來(lái)的。因此考慮垂直搜索引擎的所處的大環(huán)境和定位至關(guān)重要。
3、深入分析垂直搜索引擎的索引數(shù)據(jù)特點(diǎn)：
    垂直搜索引擎的索引數(shù)據(jù)過(guò)于結(jié)構(gòu)化，那么進(jìn)入的門(mén)檻比較低，行業(yè)競(jìng)爭(zhēng)會(huì)形成一窩蜂的局面；如果搜索數(shù)據(jù)特點(diǎn)是非結(jié)構(gòu)化的，抓取，分析這樣的數(shù)據(jù)很困難，進(jìn)入壁
壘太高，很可能出師未杰身先死。
4、垂直搜索引擎的索引數(shù)據(jù)傾向于結(jié)構(gòu)化數(shù)據(jù)和元數(shù)據(jù)，這個(gè)特點(diǎn)是區(qū)別于yahoo,google等通用搜索引擎的，這是垂直搜索引擎的立足點(diǎn)。而垂直搜索引擎是根植于某一個(gè)行業(yè) ，因此行業(yè)知識(shí)，行業(yè)專(zhuān)家這些也是通用搜索引擎不具備的。也就是說(shuō)進(jìn)入垂直搜索是有門(mén)檻的。
5、垂直搜索引擎的搜索結(jié)果要覆蓋整個(gè)行業(yè)，搜索相關(guān)性要高于通用搜索引擎，貼近用戶搜索意圖，搜索結(jié)果要及時(shí)。
6、垂直搜索引擎的web 2.0 需求：
    垂直搜索引擎的搜索數(shù)據(jù)由于帶有結(jié)構(gòu)化的天性，相對(duì)于通用搜索引擎的全文索引而言，更顯的少而精。因此，設(shè)計(jì)的時(shí)候要提供收集用戶數(shù)據(jù)的接口，同時(shí)提供tag,積
分等機(jī)制，使搜索結(jié)果更加“垂直”。
7、垂直搜索引擎的目標(biāo)是幫助用戶解決問(wèn)題，而不只是向通用搜索引擎一樣發(fā)現(xiàn)信息：
    這一點(diǎn)是垂直搜索引擎的終極目標(biāo)。 在做垂直搜索引擎的時(shí)候你需要考慮：什么問(wèn)題是這個(gè)行業(yè)內(nèi)的特殊性問(wèn)題，什么問(wèn)題是一般性問(wèn)題。keso多次提到google的目標(biāo)是
讓 用戶盡快離開(kāi)google，而垂直搜索引擎應(yīng)該粘住用戶。一般來(lái)說(shuō)，使用垂直搜索引擎的用戶都是和用戶的利益需求密切相關(guān)的。所謂利益需求是我自己獨(dú)創(chuàng) 的，大意是和用戶工作密切相關(guān)，生活中必不可少的需求，而求有持續(xù)性。比如：學(xué)生找論文，業(yè)主找裝修信息等等這樣的需求。因此粘住用戶，讓用戶有反饋的途 徑是一個(gè)關(guān)鍵部分。
8、垂直搜索引擎的社區(qū)化特征：
    這一條和第9條是相關(guān)的。
    俗話說(shuō)物以類(lèi)聚，人以群分，垂直搜索引擎定位于一個(gè)行業(yè)，服務(wù)于一群特定需求的人群，這個(gè)特點(diǎn)決定了垂直搜索的社區(qū)化行為。人們利用垂直搜索引擎解決問(wèn)題，分享回饋。現(xiàn)在做網(wǎng)站都講求社區(qū)化，所以垂直搜索引擎本質(zhì)上還是：對(duì)垂直門(mén)戶信息提供方式的一次簡(jiǎn)化性的整合。

    相關(guān)連接：什么是垂直搜索引擎

     原帖地址

Boyer-moor 字符串搜索算法

    最近因?yàn)樾枰獜拇罅康奈谋局袡z索字符串，于是想比較一下java jdk提供的 indexof 算法，和其他字符串搜索算法的效率。字符串搜索算法有多種，其中比較有名的是boyer-moore算法。在Moore 先生的主頁(yè)上有關(guān)于 boyer-moore算法的詳細(xì)介紹。
    moore先生介紹的通俗易懂，相信大家都能看明白。

     同時(shí)還看到：Boyer-Moore串查找JAVA算法這篇文章 ，可惜是安徽工業(yè)大學(xué)的內(nèi)部刊物，無(wú)法看到文章的詳情，真是遺憾。   

相關(guān)連接：
                   boyer-moore 算法文檔中心
                               多么樂(lè)