最近網絡上關于分詞的算法已經很多了,在實際應用中每個人根據對分詞的不同理解寫了不同的中文分詞算法,可謂百花齊放.
    但現在似乎還沒有針對未登陸詞的識別算法,有鑒于此,我特地寫了一個,拋磚引玉.

    算法的假設:
    1. 未登陸詞是由單字組成的;
    2. 如果一個字同時屬于2個未登陸詞,那么只選擇第一被識別的詞;

    測試文章:
    最近電視劇大長今很火,我就選取了介紹大長今的文章,
    地址:http://www.360doc.com/showWeb/0/0/18183.aspx
    識別結果如下:
        PDH : initialize phrase dictionary
        QuerySpliter reInitialize dictionary.
        長今,職場,閔政浩,韓劇,鄭云白,連生,主簿,冷廟高香,義字,醫女,張德,剩者,濟州,選撥,文秘

    算法原理:
    首先找出已經分詞后的單字,然后查看單字的下一個是否還是單字,如果是,判斷這種情況出現的次數,如果超過預訂的閥值,那么就確認這是一個新詞.
    下面是一個算法的計算過程展示:
    PDH : initialize phrase dictionary
    QuerySpliter reInitialize dictionary.
    >>>8,9;9,10
    長今
    >>>237,238;238,239
    職場
    >>>595,596;596,597;597,598
    閔政浩
    >>>189,190;190,191
    韓劇
    >>>1111,1112;1112,1113;1113,1114
    鄭云白
    >>>599,600;600,601
    連生
    >>>610,611;611,612
    主簿
    >>>975,976;976,977;977,978;978,979
    冷廟高香
    >>>1233,1234;1234,1235
    義字
    >>>559,560;560,561
    醫女
    >>>561,562;562,563
    張德
    >>>3114,3115;3115,3116
    剩者
    >>>534,535;535,536
    濟州
    >>>580,581;581,582
    選撥
    >>>2071,2072;2072,2073
    文秘
    本算法是在:小叮咚分詞的基礎上進行的.
    歡迎大家一起交流,改進這個算法.
       
    相關連接:
             

     原帖地址

什么是垂直搜索引擎（之二）

垂直搜索引擎的三個特點：

1、垂直搜索引擎抓取的數據來源于垂直搜索引擎關注的行業站點：
    比如：找工作的搜索引擎 www.deepdo.com 的數據來源于：www.51job.com , www.zhaoping.com , www.chinahr.com 等等；
          股票搜索引擎 www.macd.cn 的數據來源于： www.jrj.com.cn , www.gutx.com 等股票站點；
2、垂直搜索引擎抓取的數據傾向于結構化數據和元數據：
    比如：我們找工作關注的：
        職位信息： 軟件工程師；
        公司名稱，行業名稱：軟件公司，外包行業等；
        地點：北京，海淀；
3、垂直搜索引擎的搜索行為是基于結構化數據和元數據的結構化搜索：
        比如： 找：海淀 軟件工程師 的工作等。

垂直搜索引擎站點的8條準則：

1、選擇一個好的垂直搜索方向。俗話說男怕選錯行，這一點對于搜索引擎來說也是一樣的，除了選擇的這個行業有垂直搜索的大量需求外，這個行業的數據屬性最好不要和
Yahoo,Google等通用搜索的的抓取方向重疊。
    目前熱門的垂直搜索行業有：購物，旅游，汽車，工作，房產，交友等行業。搜索引擎對動態url數據不敏感也是眾所周知的，這些可以作為垂直搜索引擎的切入點；

2、評價所選垂直搜索行業的網站、垂直搜索內容、行業構成等情況：
    我們都知道垂直搜索引擎并不提供內容來源，它的數據依賴爬蟲搜集，并做了深度加工而來的。因此考慮垂直搜索引擎的所處的大環境和定位至關重要。
3、深入分析垂直搜索引擎的索引數據特點：
    垂直搜索引擎的索引數據過于結構化，那么進入的門檻比較低，行業競爭會形成一窩蜂的局面；如果搜索數據特點是非結構化的，抓取，分析這樣的數據很困難，進入壁
壘太高，很可能出師未杰身先死。
4、垂直搜索引擎的索引數據傾向于結構化數據和元數據，這個特點是區別于yahoo,google等通用搜索引擎的，這是垂直搜索引擎的立足點。而垂直搜索引擎是根植于某一個行業 ，因此行業知識，行業專家這些也是通用搜索引擎不具備的。也就是說進入垂直搜索是有門檻的。
5、垂直搜索引擎的搜索結果要覆蓋整個行業，搜索相關性要高于通用搜索引擎，貼近用戶搜索意圖，搜索結果要及時。
6、垂直搜索引擎的web 2.0 需求：
    垂直搜索引擎的搜索數據由于帶有結構化的天性，相對于通用搜索引擎的全文索引而言，更顯的少而精。因此，設計的時候要提供收集用戶數據的接口，同時提供tag,積
分等機制，使搜索結果更加“垂直”。
7、垂直搜索引擎的目標是幫助用戶解決問題，而不只是向通用搜索引擎一樣發現信息：
    這一點是垂直搜索引擎的終極目標。 在做垂直搜索引擎的時候你需要考慮：什么問題是這個行業內的特殊性問題，什么問題是一般性問題。keso多次提到google的目標是
讓 用戶盡快離開google，而垂直搜索引擎應該粘住用戶。一般來說，使用垂直搜索引擎的用戶都是和用戶的利益需求密切相關的。所謂利益需求是我自己獨創 的，大意是和用戶工作密切相關，生活中必不可少的需求，而求有持續性。比如：學生找論文，業主找裝修信息等等這樣的需求。因此粘住用戶，讓用戶有反饋的途 徑是一個關鍵部分。
8、垂直搜索引擎的社區化特征：
    這一條和第9條是相關的。
    俗話說物以類聚，人以群分，垂直搜索引擎定位于一個行業，服務于一群特定需求的人群，這個特點決定了垂直搜索的社區化行為。人們利用垂直搜索引擎解決問題，分享回饋。現在做網站都講求社區化，所以垂直搜索引擎本質上還是：對垂直門戶信息提供方式的一次簡化性的整合。

    相關連接：什么是垂直搜索引擎

     原帖地址

Boyer-moor 字符串搜索算法

    最近因為需要從大量的文本中檢索字符串，于是想比較一下java jdk提供的 indexof 算法，和其他字符串搜索算法的效率。字符串搜索算法有多種，其中比較有名的是boyer-moore算法。在Moore 先生的主頁上有關于 boyer-moore算法的詳細介紹。
    moore先生介紹的通俗易懂，相信大家都能看明白。

     同時還看到：Boyer-Moore串查找JAVA算法這篇文章 ，可惜是安徽工業大學的內部刊物，無法看到文章的詳情，真是遺憾。   

相關連接：
                   boyer-moore 算法文檔中心
                               多么樂

多么樂 搜索引擎索引量報告--實現了自動發送周報功能

      自從 多么樂 搜索引擎 索引量 統計報告發布一來已經有100多位站長登陸使用；為了把這部分數據主動送到各位站長手中，我特地制作了 這個周報功能，他將會在沒周六下午3點10分，給您提供貴站在google,baidu,yisou,msn等主流搜索引擎上的索引量數據。

       如果您想也使用這項功能，您可以在： 搜索引擎統計  上登陸您的網址，（注意按照要求填寫。）

       并提供您的Email地址。

       如果有意見和建議請發信到： xiaodingdong@gmail.com 

        下面是一個郵件例子：

 關于 小叮咚中文分詞  .net版本發布的變化

    現在幾乎每天都有朋友給我寫信，要求交流小叮咚中文分詞的實現。我現在實現的有java和C#兩個版本。同樣的算法邏輯，用 java 和 C#寫兩邊可不是有趣的事情 。于是自然而然想起了 關于lucene發展和多語言實現的方向  中采用的方法，于是決定以后主要更新java版本的中文分詞算法，而.net版本的中文分詞則在java class基礎上轉化過來。

    很早的時候我的一篇blog介紹過：基于.NET的Java虛擬機IKVM介紹 。于是今天就嘗試了一把，整個過程還算順利。下面是我的轉換過程：

   
    X:\ikvmbin-0.14.0.1\ikvm\bin>ikvmc -target:library X:\XXXX\chinese_sentence_splitter.jar
    Note: output file is "chinese_sentence_splitter.dll"
    Note: automatically adding reference to "e:\programming\java&.net\ikvmbin-0.14.0.1\ikvm\bin\ikvm.gnu.classpath.dll"

    通過上面的命令可以把 java jar 文件轉換成  同名的 .net dll。

    在java中測試的結果如下：

    但在.net中測試的結果卻不正確：

   

    這很顯然是IKVM.NET在轉換過程中出現了問題。

    由于第一次使用IKVM.NET，因此這個問題還需要在以后有時間解決一下。也希望有相關經驗的朋友多多指導.

    相關連接：

小叮咚 中文分詞 發布 java 版本 , c# 版本 ， c++ 版本

    最近關于中文分詞的處理逐漸多了起來，我以前的文章也零星的介紹過許多這方面的技術?？傆幸恍┡笥褋硇潘饕形姆衷~的代碼，而且要不同版本的，鑒于這個情況，我把我對分詞的理解，按照java,C#語言各自實現了一份。C++的版本，還是用中科院的ICTCLAS 畢竟這個分詞程序是很多分詞的鼻祖。

    大家可以到：小叮咚中文分詞主頁查看詳情。

    程序還有很多不完善的地方，功能列表和開發文檔現在都不完整，希望有這方面愛好的朋友一起參與進來，完善，提高。

    也歡迎大家來信討論：  xiaodingdong@gmail.com

     田春峰

     相關聯接：

                小叮咚分詞主頁

                計算所漢語詞法分析系統ICTCLAS 字典格式解析

                 一種面向搜索引擎的中文切分詞方法

                 公開小叮咚分詞源代碼