posts - 193, comments - 520, trackbacks - 0

Solr 是一個(gè)可供企業(yè)使用的、基于 Lucene 的開箱即用的搜索服務(wù)器。對(duì)Lucene不熟？那么建議先看看下面兩篇文檔：

實(shí)戰(zhàn)Lucene，第 1 部分: 初識(shí) Lucene：http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/

用Lucene加速Web搜索應(yīng)用程序的開發(fā)：http://www.ibm.com/developerworks/cn/web/wa-lucene2/

一、 solr介紹

solr是基于Lucene Java搜索庫(kù)的企業(yè)級(jí)全文搜索引擎，目前是apache的一個(gè)項(xiàng)目。它的官方網(wǎng)址在http://lucene.apache.org/solr/ 。solr需要運(yùn)行在一個(gè)servlet 容器里，例如tomcat5.5。solr在lucene的上層提供了一個(gè)基于HTTP/XML的Web Services，我們的應(yīng)用需要通過(guò)這個(gè)服務(wù)與solr進(jìn)行交互。

二、 solr安裝和配置

關(guān)于solr的安裝和配置，這里也有兩篇非常好的文檔，作者同時(shí)也是 Lucene Java 項(xiàng)目的提交人和發(fā)言人：

使用Apache Solr實(shí)現(xiàn)更加靈巧的搜索：http://www.ibm.com/developerworks/cn/java/j-solr1/index.html

http://www.ibm.com/developerworks/cn/java/j-solr2/index.html

下面主要說(shuō)說(shuō)需要注意的地方。

Solr的安裝非常簡(jiǎn)單，下載solr的zip包后解壓縮將dist目錄下的war文件改名為solr.war直接復(fù)制到tomcat5.5的webapps目錄即可。注意一定要設(shè)置solr的主位置。有三種方法。我采用的是在tomcat里配置java:comp/env/solr/home的一個(gè)JNDI指向solr的主目錄（example目錄下），建立/tomcat55/conf/Catalina/localhost/solr.xml文件。

觀察這個(gè)指定的solr主位置，里面存在兩個(gè)文件夾：conf和data。其中conf里存放了對(duì)solr而言最為重要的兩個(gè)配置文件schema.xml和solrconfig.xml。data則用于存放索引文件。

schema.xml主要包括types、fields和其他的一些缺省設(shè)置。

solrconfig.xml用來(lái)配置Solr的一些系統(tǒng)屬性，例如與索引和查詢處理有關(guān)的一些常見的配置選項(xiàng)，以及緩存、擴(kuò)展等等。

上面的文檔對(duì)這兩個(gè)文件有比較詳細(xì)的說(shuō)明，非常容易上手。注意到schema.xml里有一個(gè)

的配置，這里將url字段作為索引文檔的唯一標(biāo)識(shí)符，非常重要。

三、 加入中文分詞

對(duì)全文檢索而言，中文分詞非常的重要，這里采用了qieqie庖丁分詞（非常不錯(cuò)：））。集成非常的容易，我下載的是2.0.4-alpha2版本，其中它支持最多切分和按最大切分。創(chuàng)建自己的一個(gè)中文TokenizerFactory繼承自solr的BaseTokenizerFactory。

/**

* Created by IntelliJ IDEA.

* User: ronghao

* Date: 2007-11-3

* Time: 14:40:59

* 中文切詞對(duì)庖丁切詞的封裝

*/

public class ChineseTokenizerFactory extends BaseTokenizerFactory {

    /**

     * 最多切分   默認(rèn)模式

     */

    public static final String MOST_WORDS_MODE = "most-words";

    /**

     * 按最大切分

     */

    public static final String MAX_WORD_LENGTH_MODE = "max-word-length";

    private String mode = null;

    public void setMode(String mode) {

             if (mode==null||MOST_WORDS_MODE.equalsIgnoreCase(mode)

                      || "default".equalsIgnoreCase(mode)) {

                  this.mode=MOST_WORDS_MODE;

             } else if (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) {

                  this.mode=MAX_WORD_LENGTH_MODE;

             }

             else {

                  throw new IllegalArgumentException("不合法的分析器Mode參數(shù)設(shè)置:" + mode);

             }

        }

    @Override

    public void init(Map<String, String> args) {

        super.init(args);

        setMode(args.get("mode"));

    }

    public TokenStream create(Reader input) {

        return new PaodingTokenizer(input, PaodingMaker.make(),

                  createTokenCollector());

    }

    private TokenCollector createTokenCollector() {

        if( MOST_WORDS_MODE.equals(mode))

             return new MostWordsTokenCollector();

        if( MAX_WORD_LENGTH_MODE.equals(mode))

             return new MaxWordLengthTokenCollector();

        throw new Error("never happened");

    }

}

在schema.xml的字段text配置里加入該分詞器。

完成后重啟tomcat，即可在http://localhost:8080/solr/admin/analysis.jsp

體驗(yàn)到庖丁的中文分詞。注意要將paoding-analysis.jar復(fù)制到solr的lib下，注意修改jar包里字典的home。

四、 與自己應(yīng)用進(jìn)行集成

Solr安裝完畢，現(xiàn)在可以將自己的應(yīng)用與solr集成。其實(shí)過(guò)程非常的簡(jiǎn)單，應(yīng)用增加數(shù)據(jù)-->根據(jù)配置的字段構(gòu)建add的xml文檔-->post至solr/update。

應(yīng)用刪除數(shù)據(jù)à根據(jù)配置的索引文檔唯一標(biāo)識(shí)符構(gòu)建delete的xml文檔-->post至solr/update。

檢索數(shù)據(jù)à構(gòu)建查詢xml—>get至/solr/select/-->對(duì)solr返回的xml進(jìn)行處理-->頁(yè)面展現(xiàn)。

具體的xml格式可以在solr網(wǎng)站找到。另外就是solr支持高亮顯示，非常方便。

關(guān)于中文，solr內(nèi)核支持UTF-8編碼，所以在tomcat里的server.xml需要進(jìn)行配置

另外，向solr Post請(qǐng)求的時(shí)候需要轉(zhuǎn)為utf-8編碼。對(duì)solr 返回的查詢結(jié)果也需要進(jìn)行一次utf-8的轉(zhuǎn)碼。檢索數(shù)據(jù)時(shí)對(duì)查詢的關(guān)鍵字也需要轉(zhuǎn)碼，然后用“+”連接。

String[] array = StringUtils.split(query, null, 0);

        for (String str : array) {

            result = result + URLEncoder.encode(str, "UTF-8") + "+";

        }

http://www.aygfsteel.com/ronghao 榮浩原創(chuàng)，轉(zhuǎn)載請(qǐng)注明出處：）

posted on 2007-11-06 18:03 ronghao 閱讀(67358) 評(píng)論(14) 編輯收藏所屬分類: 工作日志

FeedBack:

# re: 使用solr搭建你的全文檢索

2008-01-14 14:09 | marten

2008-1-14 14:02:16 org.apache.catalina.core.AprLifecycleListener init
信息: The Apache Tomcat Native library which allows optimal performance in production environments was not found on the java.library.path: C:\Program Files\Java\jdk1.6.0_02\bin;D:\Tomcat 6.0\bin
2008-1-14 14:02:16 org.apache.coyote.http11.Http11Protocol init
信息: Initializing Coyote HTTP/1.1 on http-8080
2008-1-14 14:02:16 org.apache.catalina.startup.Catalina load
信息: Initialization processed in 907 ms
2008-1-14 14:02:17 org.apache.catalina.core.StandardService start
信息: Starting service Catalina
2008-1-14 14:02:17 org.apache.catalina.core.StandardEngine start
信息: Starting Servlet Engine: Apache Tomcat/6.0.13
2008-1-14 14:02:17 org.apache.catalina.startup.HostConfig deployWAR
信息: Deploying web application archive apache-solr-1.2.0.war
2008-1-14 14:02:17 org.apache.solr.servlet.SolrDispatchFilter init
信息: SolrDispatchFilter.init()
2008-1-14 14:02:17 org.apache.solr.core.Config getInstanceDir
信息: No /solr/home in JNDI
2008-1-14 14:02:17 org.apache.solr.core.Config getInstanceDir
信息: Solr home defaulted to 'null' (could not find system property or JNDI)
2008-1-14 14:02:17 org.apache.solr.core.Config setInstanceDir
信息: Solr home set to 'solr/'
2008-1-14 14:02:17 org.apache.catalina.core.StandardContext filterStart
嚴(yán)重: Exception starting filter SolrRequestFilter
java.lang.NoClassDefFoundError: Could not initialize class org.apache.solr.core.SolrConfig
at org.apache.solr.servlet.SolrDispatchFilter.init(SolrDispatchFilter.java:74)
at org.apache.catalina.core.ApplicationFilterConfig.getFilter(ApplicationFilterConfig.java:275)
at org.apache.catalina.core.ApplicationFilterConfig.setFilterDef(ApplicationFilterConfig.java:397)
at org.apache.catalina.core.ApplicationFilterConfig.<init>(ApplicationFilterConfig.java:108)
at org.apache.catalina.core.StandardContext.filterStart(StandardContext.java:3693)
at org.apache.catalina.core.StandardContext.start(StandardContext.java:4340)
at org.apache.catalina.core.ContainerBase.addChildInternal(ContainerBase.java:791)
at org.apache.catalina.core.ContainerBase.addChild(ContainerBase.java:771)
at org.apache.catalina.core.StandardHost.addChild(StandardHost.java:525)
at org.apache.catalina.startup.HostConfig.deployWAR(HostConfig.java:825)
at org.apache.catalina.startup.HostConfig.deployWARs(HostConfig.java:714)
at org.apache.catalina.startup.HostConfig.deployApps(HostConfig.java:490)
at org.apache.catalina.startup.HostConfig.start(HostConfig.java:1138)
at org.apache.catalina.startup.HostConfig.lifecycleEvent(HostConfig.java:311)
at org.apache.catalina.util.LifecycleSupport.fireLifecycleEvent(LifecycleSupport.java:117)
at org.apache.catalina.core.ContainerBase.start(ContainerBase.java:1053)
at org.apache.catalina.core.StandardHost.start(StandardHost.java:719)
at org.apache.catalina.core.ContainerBase.start(ContainerBase.java:1045)
at org.apache.catalina.core.StandardEngine.start(StandardEngine.java:443)
at org.apache.catalina.core.StandardService.start(StandardService.java:516)
at org.apache.catalina.core.StandardServer.start(StandardServer.java:710)
at org.apache.catalina.startup.Catalina.start(Catalina.java:566)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.catalina.startup.Bootstrap.start(Bootstrap.java:288)
at org.apache.catalina.startup.Bootstrap.main(Bootstrap.java:413)
2008-1-14 14:02:17 org.apache.catalina.core.StandardContext start
嚴(yán)重: Error filterStart
2008-1-14 14:02:17 org.apache.catalina.core.StandardContext start
嚴(yán)重: Context [/apache-solr-1.2.0] startup failed due to previous errors
2008-1-14 14:02:18 org.apache.coyote.http11.Http11Protocol start
信息: Starting Coyote HTTP/1.1 on http-8080
2008-1-14 14:02:18 org.apache.jk.common.ChannelSocket init
信息: JK: ajp13 listening on /0.0.0.0:8009
2008-1-14 14:02:18 org.apache.jk.server.JkMain start
信息: Jk running ID=0 time=0/50 config=null
2008-1-14 14:02:18 org.apache.catalina.startup.Catalina start
信息: Server startup in 1895 ms
這個(gè)是什么原因造成的呢？我一啟動(dòng)就報(bào)這個(gè)錯(cuò)，苦惱中。。。回復(fù) 更多評(píng)論

# re: 使用solr搭建你的全文檢索

2008-02-13 15:01 | jinglepot

應(yīng)該是你的Tomcat有問(wèn)題, 找不到Tomcat的liberary, Tomcat 沒(méi)裝好. 回復(fù) 更多評(píng)論

# re: 使用solr搭建你的全文檢索

2008-03-02 18:58 | 認(rèn)真讀

你好，我拜讀你的文章，並很有助益我建置完成solr

但我在進(jìn)行庖丁分詞，的部分時(shí)，只要我把
<tokenizer class="solr.WhitespaceTokenizerFactory"/>
換成我按照，你的方法改的class後就會(huì)出現(xiàn)說(shuō)我找不到
org/apache/lucene/analysis/TokenStream

因?yàn)槲沂褂妙A(yù)設(shè)的WhitespaceTokenizerFactory就不會(huì)有問(wèn)題，所以請(qǐng)問(wèn)版主，這是什麼問(wèn)題呢

資訊: created text_ws: org.apache.solr.schema.TextField
2008/3/2 下午 06:55:35 org.apache.solr.servlet.SolrDispatchFilter init
嚴(yán)重的: Could not start SOLR. Check solr/home property
java.lang.NoClassDefFoundError: org/apache/lucene/analysis/TokenStream
at java.lang.ClassLoader.defineClass1(Native Method)
at java.lang.ClassLoader.defineClass(ClassLoader.java:620)
at java.security.SecureClassLoader.defineClass(SecureClassLoade
4)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:260)
at java.net.URLClassLoader.access$000(URLClassLoader.java:56)
at java.net.URLClassLoader$1.run(URLClassLoader.java:195)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:188)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at java.lang.ClassLoader.loadClass(ClassLoader.java:299)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:276
at java.lang.ClassLoader.loadClass(ClassLoader.java:251)
at org.apache.catalina.loader.WebappClassLoader.loadClass(Webap
der.java:1273)
at org.apache.catalina.loader.WebappClassLoader.loadClass(Webap
der.java:1204)
at ................... 回復(fù) 更多評(píng)論

# re: 使用solr搭建你的全文檢索

2008-03-04 14:51 | 木哥哥

我在配置過(guò)程中發(fā)現(xiàn)一個(gè)問(wèn)題，

當(dāng)搜索關(guān)鍵字中間沒(méi)有空格分開的時(shí)候，比如“漫畫游戲”，雖然分詞能分出來(lái)，但是查詢的時(shí)候卻不能自動(dòng)組合成和“漫畫游戲”一樣的查詢字符串，查詢出來(lái)的結(jié)果也完全不一樣，甚至沒(méi)有結(jié)果。

“漫畫游戲”的調(diào)試信息
- <lst name="debug">
<str name="rawquerystring">漫畫游戲</str>
<str name="querystring">漫畫游戲</str>
<str name="parsedquery">PhraseQuery(all:"漫畫游戲")</str>
<str name="parsedquery_toString">all:"漫畫游戲"</str>
<lst name="explain" />
</lst>
“漫畫游戲”的調(diào)試信息
<str name="rawquerystring">漫畫游戲</str>
<str name="querystring">漫畫游戲</str>
<str name="parsedquery">all:漫畫 all:游戲</str>
<str name="parsedquery_toString">all:漫畫 all:游戲</str>
- <lst name="explain">
<str name="id=http://www.caihongtang.com/kind1/game4289.htm,internal_docid=34">1.1388016 = (MATCH) sum of: 0.6806047 = (MATCH) weight(all:漫畫 in 34), product of: 0.7730782 = queryWeight(all:漫畫), product of: 2.8458266 = idf(docFreq=5) 0.2716533 = queryNorm 0.8803827 = (MATCH) fieldWeight(all:漫畫 in 34), product of: 1.4142135 = tf(termFreq(all:漫畫)=2) 2.8458266 = idf(docFreq=5) 0.21875 = fieldNorm(field=all, doc=34) 0.4581969 = (MATCH) weight(all:游戲 in 34), product of: 0.6343107 = queryWeight(all:游戲), product of: 2.335001 = idf(docFreq=9) 0.2716533 = queryNorm 0.72235405 = (MATCH) fieldWeight(all:游戲 in 34), product of: 1.4142135 = tf(termFreq(all:游戲)=2) 2.335001 = idf(docFreq=9) 0.21875 = fieldNorm(field=all, doc=34)</str>
<str name="id=http://www.caihongtang.com/kind1/game1111.htm,internal_docid=36">1.1388016 = (MATCH) sum of: 0.6806047 = (MATCH) weight(all:漫畫 in 36), product of: 0.7730782 = queryWeight(all:漫畫), product of: 2.8458266 = idf(docFreq=5) 0.2716533 = queryNorm 0.8803827 = (MATCH) fieldWeight(all:漫畫 in 36), product of: 1.4142135 = tf(termFreq(all:漫畫)=2) 2.8458266 = idf(docFreq=5) 0.21875 = fieldNorm(field=all, doc=36) 0.4581969 = (MATCH) weight(all:游戲 in 36), product of: 0.6343107 = queryWeight(all:游戲), product of: 2.335001 = idf(docFreq=9) 0.2716533 = queryNorm 0.72235405 = (MATCH) fieldWeight(all:游戲 in 36), product of: 1.4142135 = tf(termFreq(all:游戲)=2) 2.335001 = idf(docFreq=9) 0.21875 = fieldNorm(field=all, doc=36)</str>
<str name="id=http://www.caihongtang.com/kind1/game4269.htm,internal_docid=35">0.2314244 = (MATCH) product of: 0.4628488 = (MATCH) sum of: 0.4628488 = (MATCH) weight(all:游戲 in 35), product of: 0.6343107 = queryWeight(all:游戲), product of: 2.335001 = idf(docFreq=9) 0.2716533 = queryNorm 0.7296878 = (MATCH) fieldWeight(all:游戲 in 35), product of: 1.0 = tf(termFreq(all:游戲)=1) 2.335001 = idf(docFreq=9) 0.3125 = fieldNorm(field=all, doc=35) 0.5 = coord(1/2)</str>
<str name="id=http://www.caihongtang.com/kind1/game2222.htm,internal_docid=37">0.2314244 = (MATCH) product of: 0.4628488 = (MATCH) sum of: 0.4628488 = (MATCH) weight(all:游戲 in 37), product of: 0.6343107 = queryWeight(all:游戲), product of: 2.335001 = idf(docFreq=9) 0.2716533 = queryNorm 0.7296878 = (MATCH) fieldWeight(all:游戲 in 37), product of: 1.0 = tf(termFreq(all:游戲)=1) 2.335001 = idf(docFreq=9) 0.3125 = fieldNorm(field=all, doc=37) 0.5 = coord(1/2)</str>
</lst>

我的MSN：xugp@live.com 回復(fù) 更多評(píng)論

# re: 使用solr搭建你的全文檢索

2008-12-30 13:36 | leegene

我和樓上的“木哥哥”遇到的問(wèn)題一樣，查詢“諾基亞手機(jī)”，分詞已經(jīng)成功，但查詢結(jié)果不對(duì)。樓主有沒(méi)有解決方案？回復(fù) 更多評(píng)論

# re: 使用solr搭建你的全文檢索

2009-05-04 20:50 | 觀云

好貼，贊一個(gè)，。。回復(fù) 更多評(píng)論

# re: 使用solr搭建你的全文檢索

2009-09-03 08:19 | 聚資庫(kù)

好東西,學(xué)習(xí)中... 回復(fù) 更多評(píng)論

# re: 使用solr搭建你的全文檢索

2010-11-15 17:32 | smallwilliam

請(qǐng)問(wèn)樓主，Solr的搜索結(jié)果是xml，怎么轉(zhuǎn)化為html？回復(fù) 更多評(píng)論

# re: 使用solr搭建你的全文檢索

2012-08-19 21:31 | 去滑雪網(wǎng)

二樓同樣的問(wèn)題。回復(fù) 更多評(píng)論

# re: 使用solr搭建你的全文檢索

2012-09-12 00:19 | 來(lái)來(lái)來(lái)

路過(guò) 回復(fù) 更多評(píng)論

# re: 使用solr搭建你的全文檢索

2013-05-20 15:39 | 木東

public TokenStream create(Reader input) {

return new PaodingTokenizer(input, PaodingMaker.make(),

createTokenCollector());

}
為什么我這個(gè)老是出錯(cuò)呢？回復(fù) 更多評(píng)論

# re: 使用solr搭建你的全文檢索[未登錄](méi)

2013-05-30 16:03 | 匿名

@marten
這個(gè)是因?yàn)椋琫xample/LIB/ext/*.jsr的jar包沒(méi)有copy到tomcat/lib下面回復(fù) 更多評(píng)論

# re: 使用solr搭建你的全文檢索

2014-08-15 17:25 | 陳冠馳

@marten這是你的solr的schame.xml配置文件有問(wèn)題。好好檢查下你的配置文件里面的字段什么的配置對(duì)著沒(méi)
回復(fù) 更多評(píng)論

# re: 使用solr搭建你的全文檢索

2014-10-15 13:54 | 陳冠馳

@木哥哥
你的分詞器用的是什么啊？mmseg貌似可以的回復(fù) 更多評(píng)論

新用戶注冊(cè) 刷新評(píng)論列表


只有注冊(cè)用戶登錄后才能發(fā)表評(píng)論。




網(wǎng)站導(dǎo)航: 博客園 IT新聞 Chat2DB C++博客博問(wèn) 管理
相關(guān)文章: 少年P(guān)i的奇幻漂流-我們的后臺(tái)自動(dòng)化發(fā)布方案一個(gè)項(xiàng)目的自動(dòng)化測(cè)試實(shí)踐心理學(xué)，再談好代碼數(shù)據(jù)驅(qū)動(dòng)測(cè)試使用Selenium測(cè)試showModalDialog模態(tài)對(duì)話框（Multi-stage Continuous Integration）多階段持續(xù)集成基于memcached的SNA實(shí)現(xiàn) SNA方案之session炒冷飯一次性能調(diào)優(yōu)的實(shí)戰(zhàn) 從貧血到充血Domain Model

2007年11月

日

一

二

三

四

五

六

關(guān)注工作流和企業(yè)業(yè)務(wù)流程改進(jìn)。現(xiàn)就職于ThoughtWorks。新浪微博：http://weibo.com/ronghao100

常用鏈接

留言簿(38)

隨筆分類

隨筆檔案

文章分類

文章檔案

常去的網(wǎng)站

搜索

最新評(píng)論

閱讀排行榜

評(píng)論排行榜