Lunce分词原理

�q�帆 — Sun, 10 Apr 2011 06:22:00 GMT

Lucene是一个高性能的java全文��索工具包�Q�它使用的是倒排文�g索引�l�构。该�l�构及相应的生成��法如下�Q?

0�Q�设有两��文�?�?
文章1的内容�ؓ�Q�Tom lives in Guangzhou,I live in Guangzhou too.
文章2的内容�ؓ�Q�He once lived in Shanghai.

1)�׃��lucene是基于关键词索引和查询的�Q�首先我们要取得�q�两��文章的关键词，通常我们需要如下处理措�?
a.我们现在有的是文章内容，即一个字�W�串�Q�我们先要找出字�W�串中的所有单词，卛_��词。英文单词由于用�I�格分隔�Q�比较好处理。中文单词间是连在一��L��需要特�D�的分词处理�?
b.文章中的”in”, “once” “too”�{�词没有什么实际意义，中文中的“�?#8221;“�?#8221;�{�字通常也无具体含义�Q�这些不代表概念的词可以�q��o�?
c.用户通常希望�?#8220;He”时能把含“he”�Q?#8220;HE”的文章也扑և�来，所以所有单词需要统一大小写�?
d.用户通常希望�?#8220;live”时能把含“lives”�Q?#8220;lived”的文章也扑և�来，所以需要把“lives”�Q?#8220;lived”�q�原�?#8220;live”
e.文章中的标点�W�号通常不表�C�某�U�概念，也可以过滤掉
在lucene中以上措施由Analyzer�c�d��?

�l�过上面处理�?
文章1的所有关键词为：[tom] [live] [guangzhou] [i] [live] [guangzhou]
文章2的所有关键词为：[he] [live] [shanghai]

2) 有了关键词后�Q�我们就可以建立倒排索引了。上面的对应关系是：“文章�?#8221;�?#8220;文章中所有关键词”。倒排索引把这个关�p�d��过来，变成�Q?#8220;关键�?#8221;�?#8220;拥有该关键词的所有文章号”。文�?�Q?�l�过倒排后变�?
关键�?文章�?
guangzhou 1
he 2
i 1
live 1,2
shanghai 2
tom 1

通常仅知道关键词在哪些文章中出现�q�不够，我们�q�需要知道关键词在文章中出现�ơ数和出现的位置�Q�通常有两�U�位�|�：a)字符位置�Q�即记录该词是文章中�W�几个字�W�（优点是关键词亮显时定位快�Q�；b)关键词位�|�，卌��录该词是文章中第几个关键词（优点是节�U�烦引空间、词�l�（phase�Q�查询快�Q�，lucene中记录的��是�q�种位置�?

加上“出现频率”�?#8220;出现位置”信息后，我们的烦引结构变为：
关键�?文章号[出现频率] 出现位置
guangzhou 1[2] 3�Q?
he 2[1] 1
i 1[1] 4
live 1[2],2[1] 2�Q?�Q?
shanghai 2[1] 3
tom 1[1] 1

以live �q�行��Z��我们说明一下该�l�构�Q�live在文�?中出��C��2�ơ，文章2中出��C��一�ơ，它的出现位置�?#8220;2,5,2”�q�表�C�Z��么呢�Q�我们需要结合文章号和出现频率来分析�Q�文�?中出��C��2�ơ，那么“2,5”��p��C�live在文�?中出现的两个位置�Q�文�?中出��C��一�ơ，剩下�?#8220;2”��p��C�live是文�?中第 2个关键字�?

以上��是lucene索引�l�构中最核心的部分。我们注意到关键字是按字�W�顺序排列的�Q�lucene没有使用B树结构）�Q�因此lucene可以用二元搜索算法快速定位关键词�?

实现�?lucene��上面三列分别作��典文�Ӟ��Term Dictionary�Q�、频率文�?frequencies)、位�|�文�?(positions)保存。其中词典文件不仅保存有每个关键词，�q�保留了指向频率文�g和位�|�文件的指针�Q�通过指针可以扑ֈ�该关键字的频率信息和位置信息�?

Lucene中��用了field的概念，用于表达信息所在位�|�（如标题中�Q�文章中�Q�url中）�Q�在建烦引中�Q�该field信息也记录在词典文�g中，每个关键词都有一个field信息(因�ؓ每个关键字一定属于一个或多个field)�?

��Z��减小索引文�g的大��，Lucene对烦引还使用了压�~�技术。首先，对词典文件中的关键词�q�行了压�~�，关键词压�~��ؓ<前缀长度�Q�后�~�>�Q�例如：当前词�ؓ“阿拉伯语”�Q�上一个词�?#8220;阿拉�?#8221;�Q�那�?#8220;阿拉伯语”压羃�?lt;3�Q�语>。其�ơ大量用到的是对数字的压�~�，数字只保存与上一个值的差��|��q�样可以减小数字的长度，�q�而减��保存该数字需要的字节敎ͼ�。例如当前文章号�?6389�Q�不压羃要用3个字节保存）�Q�上一文章��h��16382�Q�压�~�后保存7�Q�只用一个字节）�?

下面我们可以通过对该索引的查询来解释一下�ؓ什么要建立索引�?
假设要查询单�?“live”�Q�lucene先对词典二元查找、找到该词，通过指向频率文�g的指针读出所有文章号�Q�然后返回结果。词兔R��常非常��，因而，整个�q�程的时间是毫秒�U�的�?
而用普通的��序匚w��法�Q�不建烦引，而是�Ҏ��有文章的内容�q�行字符串匹配，�q�个�q�程��会相当�~�慢�Q�当文章数目很大�Ӟ��旉��往往是无法忍受的�?

�q�帆 2011-04-10 14:22 发表评论

�q�帆 — Sun, 03 Jan 2010 08:24:00 GMT

摘要: ��q�组件的定义阅读全文

�q�帆 2010-01-03 16:24 发表评论