最近網(wǎng)絡(luò)上關(guān)于分詞的算法已經(jīng)很多了,在實(shí)際應(yīng)用中每個(gè)人根據(jù)對(duì)分詞的不同理解寫(xiě)了不同的中文分詞算法,可謂百花齊放.
    但現(xiàn)在似乎還沒(méi)有針對(duì)未登陸詞的識(shí)別算法,有鑒于此,我特地寫(xiě)了一個(gè),拋磚引玉.

    算法的假設(shè):
    1. 未登陸詞是由單字組成的;
    2. 如果一個(gè)字同時(shí)屬于2個(gè)未登陸詞,那么只選擇第一被識(shí)別的詞;

    測(cè)試文章:
    最近電視劇大長(zhǎng)今很火,我就選取了介紹大長(zhǎng)今的文章,
    地址:http://www.360doc.com/showWeb/0/0/18183.aspx
    識(shí)別結(jié)果如下:
        PDH : initialize phrase dictionary
        QuerySpliter reInitialize dictionary.
        長(zhǎng)今,職場(chǎng),閔政浩,韓劇,鄭云白,連生,主簿,冷廟高香,義字,醫(yī)女,張德,剩者,濟(jì)州,選撥,文秘

    算法原理:
    首先找出已經(jīng)分詞后的單字,然后查看單字的下一個(gè)是否還是單字,如果是,判斷這種情況出現(xiàn)的次數(shù),如果超過(guò)預(yù)訂的閥值,那么就確認(rèn)這是一個(gè)新詞.
    下面是一個(gè)算法的計(jì)算過(guò)程展示:
    PDH : initialize phrase dictionary
    QuerySpliter reInitialize dictionary.
    >>>8,9;9,10
    長(zhǎng)今
    >>>237,238;238,239
    職場(chǎng)
    >>>595,596;596,597;597,598
    閔政浩
    >>>189,190;190,191
    韓劇
    >>>1111,1112;1112,1113;1113,1114
    鄭云白
    >>>599,600;600,601
    連生
    >>>610,611;611,612
    主簿
    >>>975,976;976,977;977,978;978,979
    冷廟高香
    >>>1233,1234;1234,1235
    義字
    >>>559,560;560,561
    醫(yī)女
    >>>561,562;562,563
    張德
    >>>3114,3115;3115,3116
    剩者
    >>>534,535;535,536
    濟(jì)州
    >>>580,581;581,582
    選撥
    >>>2071,2072;2072,2073
    文秘
    本算法是在:小叮咚分詞的基礎(chǔ)上進(jìn)行的.
    歡迎大家一起交流,改進(jìn)這個(gè)算法.
       
    相關(guān)連接:
             

     原帖地址

什么是垂直搜索引擎（之二）

垂直搜索引擎的三個(gè)特點(diǎn)：

1、垂直搜索引擎抓取的數(shù)據(jù)來(lái)源于垂直搜索引擎關(guān)注的行業(yè)站點(diǎn)：
    比如：找工作的搜索引擎 www.deepdo.com 的數(shù)據(jù)來(lái)源于：www.51job.com , www.zhaoping.com , www.chinahr.com 等等；
          股票搜索引擎 www.macd.cn 的數(shù)據(jù)來(lái)源于： www.jrj.com.cn , www.gutx.com 等股票站點(diǎn)；
2、垂直搜索引擎抓取的數(shù)據(jù)傾向于結(jié)構(gòu)化數(shù)據(jù)和元數(shù)據(jù)：
    比如：我們找工作關(guān)注的：
        職位信息： 軟件工程師；
        公司名稱(chēng)，行業(yè)名稱(chēng)：軟件公司，外包行業(yè)等；
        地點(diǎn)：北京，海淀；
3、垂直搜索引擎的搜索行為是基于結(jié)構(gòu)化數(shù)據(jù)和元數(shù)據(jù)的結(jié)構(gòu)化搜索：
        比如： 找：海淀 軟件工程師 的工作等。

垂直搜索引擎站點(diǎn)的8條準(zhǔn)則：

1、選擇一個(gè)好的垂直搜索方向。俗話(huà)說(shuō)男怕選錯(cuò)行，這一點(diǎn)對(duì)于搜索引擎來(lái)說(shuō)也是一樣的，除了選擇的這個(gè)行業(yè)有垂直搜索的大量需求外，這個(gè)行業(yè)的數(shù)據(jù)屬性最好不要和
Yahoo,Google等通用搜索的的抓取方向重疊。
    目前熱門(mén)的垂直搜索行業(yè)有：購(gòu)物，旅游，汽車(chē)，工作，房產(chǎn)，交友等行業(yè)。搜索引擎對(duì)動(dòng)態(tài)url數(shù)據(jù)不敏感也是眾所周知的，這些可以作為垂直搜索引擎的切入點(diǎn)；

2、評(píng)價(jià)所選垂直搜索行業(yè)的網(wǎng)站、垂直搜索內(nèi)容、行業(yè)構(gòu)成等情況：
    我們都知道垂直搜索引擎并不提供內(nèi)容來(lái)源，它的數(shù)據(jù)依賴(lài)爬蟲(chóng)搜集，并做了深度加工而來(lái)的。因此考慮垂直搜索引擎的所處的大環(huán)境和定位至關(guān)重要。
3、深入分析垂直搜索引擎的索引數(shù)據(jù)特點(diǎn)：
    垂直搜索引擎的索引數(shù)據(jù)過(guò)于結(jié)構(gòu)化，那么進(jìn)入的門(mén)檻比較低，行業(yè)競(jìng)爭(zhēng)會(huì)形成一窩蜂的局面；如果搜索數(shù)據(jù)特點(diǎn)是非結(jié)構(gòu)化的，抓取，分析這樣的數(shù)據(jù)很困難，進(jìn)入壁
壘太高，很可能出師未杰身先死。
4、垂直搜索引擎的索引數(shù)據(jù)傾向于結(jié)構(gòu)化數(shù)據(jù)和元數(shù)據(jù)，這個(gè)特點(diǎn)是區(qū)別于yahoo,google等通用搜索引擎的，這是垂直搜索引擎的立足點(diǎn)。而垂直搜索引擎是根植于某一個(gè)行業(yè) ，因此行業(yè)知識(shí)，行業(yè)專(zhuān)家這些也是通用搜索引擎不具備的。也就是說(shuō)進(jìn)入垂直搜索是有門(mén)檻的。
5、垂直搜索引擎的搜索結(jié)果要覆蓋整個(gè)行業(yè)，搜索相關(guān)性要高于通用搜索引擎，貼近用戶(hù)搜索意圖，搜索結(jié)果要及時(shí)。
6、垂直搜索引擎的web 2.0 需求：
    垂直搜索引擎的搜索數(shù)據(jù)由于帶有結(jié)構(gòu)化的天性，相對(duì)于通用搜索引擎的全文索引而言，更顯的少而精。因此，設(shè)計(jì)的時(shí)候要提供收集用戶(hù)數(shù)據(jù)的接口，同時(shí)提供tag,積
分等機(jī)制，使搜索結(jié)果更加“垂直”。
7、垂直搜索引擎的目標(biāo)是幫助用戶(hù)解決問(wèn)題，而不只是向通用搜索引擎一樣發(fā)現(xiàn)信息：
    這一點(diǎn)是垂直搜索引擎的終極目標(biāo)。 在做垂直搜索引擎的時(shí)候你需要考慮：什么問(wèn)題是這個(gè)行業(yè)內(nèi)的特殊性問(wèn)題，什么問(wèn)題是一般性問(wèn)題。keso多次提到google的目標(biāo)是
讓 用戶(hù)盡快離開(kāi)google，而垂直搜索引擎應(yīng)該粘住用戶(hù)。一般來(lái)說(shuō)，使用垂直搜索引擎的用戶(hù)都是和用戶(hù)的利益需求密切相關(guān)的。所謂利益需求是我自己獨(dú)創(chuàng) 的，大意是和用戶(hù)工作密切相關(guān)，生活中必不可少的需求，而求有持續(xù)性。比如：學(xué)生找論文，業(yè)主找裝修信息等等這樣的需求。因此粘住用戶(hù)，讓用戶(hù)有反饋的途 徑是一個(gè)關(guān)鍵部分。
8、垂直搜索引擎的社區(qū)化特征：
    這一條和第9條是相關(guān)的。
    俗話(huà)說(shuō)物以類(lèi)聚，人以群分，垂直搜索引擎定位于一個(gè)行業(yè)，服務(wù)于一群特定需求的人群，這個(gè)特點(diǎn)決定了垂直搜索的社區(qū)化行為。人們利用垂直搜索引擎解決問(wèn)題，分享回饋。現(xiàn)在做網(wǎng)站都講求社區(qū)化，所以垂直搜索引擎本質(zhì)上還是：對(duì)垂直門(mén)戶(hù)信息提供方式的一次簡(jiǎn)化性的整合。

    相關(guān)連接：什么是垂直搜索引擎

     原帖地址

Boyer-moor 字符串搜索算法

    最近因?yàn)樾枰獜拇罅康奈谋局袡z索字符串，于是想比較一下java jdk提供的 indexof 算法，和其他字符串搜索算法的效率。字符串搜索算法有多種，其中比較有名的是boyer-moore算法。在Moore 先生的主頁(yè)上有關(guān)于 boyer-moore算法的詳細(xì)介紹。
    moore先生介紹的通俗易懂，相信大家都能看明白。

     同時(shí)還看到：Boyer-Moore串查找JAVA算法這篇文章 ，可惜是安徽工業(yè)大學(xué)的內(nèi)部刊物，無(wú)法看到文章的詳情，真是遺憾。   

相關(guān)連接：
                   boyer-moore 算法文檔中心
                               多么樂(lè)

多么樂(lè) 搜索引擎索引量報(bào)告--實(shí)現(xiàn)了自動(dòng)發(fā)送周報(bào)功能

      自從 多么樂(lè) 搜索引擎 索引量 統(tǒng)計(jì)報(bào)告發(fā)布一來(lái)已經(jīng)有100多位站長(zhǎng)登陸使用；為了把這部分?jǐn)?shù)據(jù)主動(dòng)送到各位站長(zhǎng)手中，我特地制作了 這個(gè)周報(bào)功能，他將會(huì)在沒(méi)周六下午3點(diǎn)10分，給您提供貴站在google,baidu,yisou,msn等主流搜索引擎上的索引量數(shù)據(jù)。

       如果您想也使用這項(xiàng)功能，您可以在： 搜索引擎統(tǒng)計(jì)  上登陸您的網(wǎng)址，（注意按照要求填寫(xiě)。）

       并提供您的Email地址。

       如果有意見(jiàn)和建議請(qǐng)發(fā)信到： xiaodingdong@gmail.com 

        下面是一個(gè)郵件例子：

 關(guān)于 小叮咚中文分詞  .net版本發(fā)布的變化

    現(xiàn)在幾乎每天都有朋友給我寫(xiě)信，要求交流小叮咚中文分詞的實(shí)現(xiàn)。我現(xiàn)在實(shí)現(xiàn)的有java和C#兩個(gè)版本。同樣的算法邏輯，用 java 和 C#寫(xiě)兩邊可不是有趣的事情 。于是自然而然想起了 關(guān)于lucene發(fā)展和多語(yǔ)言實(shí)現(xiàn)的方向  中采用的方法，于是決定以后主要更新java版本的中文分詞算法，而.net版本的中文分詞則在java class基礎(chǔ)上轉(zhuǎn)化過(guò)來(lái)。

    很早的時(shí)候我的一篇blog介紹過(guò)：基于.NET的Java虛擬機(jī)IKVM介紹 。于是今天就嘗試了一把，整個(gè)過(guò)程還算順利。下面是我的轉(zhuǎn)換過(guò)程：

   
    X:\ikvmbin-0.14.0.1\ikvm\bin>ikvmc -target:library X:\XXXX\chinese_sentence_splitter.jar
    Note: output file is "chinese_sentence_splitter.dll"
    Note: automatically adding reference to "e:\programming\java&.net\ikvmbin-0.14.0.1\ikvm\bin\ikvm.gnu.classpath.dll"

    通過(guò)上面的命令可以把 java jar 文件轉(zhuǎn)換成  同名的 .net dll。

    在java中測(cè)試的結(jié)果如下：

    但在.net中測(cè)試的結(jié)果卻不正確：

   

    這很顯然是IKVM.NET在轉(zhuǎn)換過(guò)程中出現(xiàn)了問(wèn)題。

    由于第一次使用IKVM.NET，因此這個(gè)問(wèn)題還需要在以后有時(shí)間解決一下。也希望有相關(guān)經(jīng)驗(yàn)的朋友多多指導(dǎo).

    相關(guān)連接：

小叮咚 中文分詞 發(fā)布 java 版本 , c# 版本 ， c++ 版本

    最近關(guān)于中文分詞的處理逐漸多了起來(lái)，我以前的文章也零星的介紹過(guò)許多這方面的技術(shù)?？傆幸恍┡笥褋?lái)信索要中文分詞的代碼，而且要不同版本的，鑒于這個(gè)情況，我把我對(duì)分詞的理解，按照java,C#語(yǔ)言各自實(shí)現(xiàn)了一份。C++的版本，還是用中科院的ICTCLAS 畢竟這個(gè)分詞程序是很多分詞的鼻祖。

    大家可以到：小叮咚中文分詞主頁(yè)查看詳情。

    程序還有很多不完善的地方，功能列表和開(kāi)發(fā)文檔現(xiàn)在都不完整，希望有這方面愛(ài)好的朋友一起參與進(jìn)來(lái)，完善，提高。

    也歡迎大家來(lái)信討論：  xiaodingdong@gmail.com

     田春峰

     相關(guān)聯(lián)接：

                小叮咚分詞主頁(yè)

                計(jì)算所漢語(yǔ)詞法分析系統(tǒng)ICTCLAS 字典格式解析

                 一種面向搜索引擎的中文切分詞方法

                 公開(kāi)小叮咚分詞源代碼