使用solr搭建你的全文檢索zz(ronghao)

          Posted on 2007-11-07 16:44 yukui 閱讀(164) 評論(0)  編輯  收藏
          Solr 是一個可供企業使用的、基于 Lucene 的開箱即用的搜索服務器。對Lucene不熟?那么建議先看看下面兩篇文檔:

          實戰Lucene,第 1 部分: 初識 Lucene:http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/

          Lucene加速Web搜索應用程序的開發:http://www.ibm.com/developerworks/cn/web/wa-lucene2/

          一、 solr介紹

          solr是基于Lucene Java搜索庫的企業級全文搜索引擎,目前是apache的一個項目。它的官方網址在http://lucene.apache.org/solr/ 。solr需要運行在一個servlet 容器里,例如tomcat5.5solrlucene的上層提供了一個基于HTTP/XMLWeb Services,我們的應用需要通過這個服務與solr進行交互。

          二、 solr安裝和配置

          關于solr的安裝和配置,這里也有兩篇非常好的文檔,作者同時也 Lucene Java 項目的提交人和發言人:

          使用Apache Solr實現更加靈巧的搜索:http://www.ibm.com/developerworks/cn/java/j-solr1/index.html

          http://www.ibm.com/developerworks/cn/java/j-solr2/index.html

          下面主要說說需要注意的地方。

          Solr的安裝非常簡單,下載solrzip包后解壓縮將dist目錄下的war文件改名為solr.war直接復制到tomcat5.5webapps目錄即可。注意一定要設置solr的主位置。有三種方法。我采用的是在tomcat里配置java:comp/env/solr/home的一個JNDI指向solr的主目錄(example目錄下),建立/tomcat55/conf/Catalina/localhost/solr.xml文件。


          <Context docBase="D:/solr.war" debug="0" crossContext="true" >

             
          <Environment name="solr/home" type="java.lang.String" value="D:/solr/solr" override="true" />

          </Context>

               觀察這個指定的solr主位置,里面存在兩個文件夾:conf和data。其中conf里存放了對solr而言最為重要的兩個配置文件schema.xml和solrconfig.xml。data則用于存放索引文件。

               schema.xml主要包括typesfields和其他的一些缺省設置。

          solrconfig.xml用來配置Solr的一些系統屬性,例如與索引和查詢處理有關的一些常見的配置選項,以及緩存、擴展等等。

          上面的文檔對這兩個文件有比較詳細的說明,非常容易上手。注意到schema.xml里有一個

          <uniqueKey>url</uniqueKey>

          的配置,這里將url字段作為索引文檔的唯一標識符,非常重要。

          三、 加入中文分詞

          對全文檢索而言,中文分詞非常的重要,這里采用了qieqie庖丁分詞(非常不錯:))。集成非常的容易,我下載的是2.0.4-alpha2版本,其中它支持最多切分和按最大切分。創建自己的一個中文TokenizerFactory繼承自solr的BaseTokenizerFactory。


          /**

           * Created by IntelliJ IDEA.

           * User: ronghao

           * Date: 2007-11-3

           * Time: 14:40:59

           * 中文切詞 對庖丁切詞的封裝

           
          */

          public class ChineseTokenizerFactory extends BaseTokenizerFactory {

              
          /**

               * 最多切分   默認模式

               
          */

              
          public static final String MOST_WORDS_MODE = "most-words";

              
          /**

               * 按最大切分

               
          */

              
          public static final String MAX_WORD_LENGTH_MODE = "max-word-length";

              
          private String mode = null;

              
          public void setMode(String mode) {

                       
          if (mode==null||MOST_WORDS_MODE.equalsIgnoreCase(mode)

                                
          || "default".equalsIgnoreCase(mode)) {

                            
          this.mode=MOST_WORDS_MODE;

                       } 
          else if (MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)) {

                            
          this.mode=MAX_WORD_LENGTH_MODE;

                       }

                       
          else {

                            
          throw new IllegalArgumentException("不合法的分析器Mode參數設置:" + mode);

                       }

                  }

              @Override

              
          public void init(Map<String, String> args) {

                  
          super.init(args);

                  setMode(args.get(
          "mode"));

              }

              
          public TokenStream create(Reader input) {

                  
          return new PaodingTokenizer(input, PaodingMaker.make(),

                            createTokenCollector());

              }

              
          private TokenCollector createTokenCollector() {

                  
          if( MOST_WORDS_MODE.equals(mode))

                       
          return new MostWordsTokenCollector();

                  
          if( MAX_WORD_LENGTH_MODE.equals(mode))

                       
          return new MaxWordLengthTokenCollector();

                  
          throw new Error("never happened");

              }

          }

          在schema.xml的字段text配置里加入該分詞器。


          <fieldtype name="text" class="solr.TextField" positionIncrementGap="100">

                      
          <analyzer type="index">

                          
          <tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>


                          
          <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>

                          
          <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0"/>

                          
          <filter class="solr.LowerCaseFilterFactory"/>


                          
          <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>

                      
          </analyzer>

                      
          <analyzer type="query">

                          
          <tokenizer class="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory" mode="most-words"/>               

                          
          <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>

                          
          <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt"/>

                          
          <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0"/>

                          
          <filter class="solr.LowerCaseFilterFactory"/>

                          
          <filter class="solr.RemoveDuplicatesTokenFilterFactory"/>

                      
          </analyzer>

                  
          </fieldtype>

          </types>

              完成后重啟tomcat,即可在http://localhost:8080/solr/admin/analysis.jsp

          體驗到庖丁的中文分詞。注意要將paoding-analysis.jar復制到solr的lib下,注意修改jar包里字典的home。

          四、 與自己應用進行集成

          Solr安裝完畢,現在可以將自己的應用與solr集成。其實過程非常的簡單,應用增加數據-->根據配置的字段構建add的xml文檔-->post至solr/update。

          應用刪除數據à根據配置的索引文檔唯一標識符構建delete的xml文檔-->post至solr/update。

          檢索數據à構建查詢xml—>get至/solr/select/-->對solr返回的xml進行處理-->頁面展現。

          具體的xml格式可以在solr網站找到。另外就是solr支持高亮顯示,非常方便。

          關于中文,solr內核支持UTF-8編碼,所以在tomcat里的server.xml需要進行配置

          <Connector port="8080" maxHttpHeaderSize="8192" URIEncoding="UTF-8" …/>

          另外,向solr Post請求的時候需要轉為utf-8編碼。對solr 返回的查詢結果也需要進行一次utf-8的轉碼。檢索數據時對查詢的關鍵字也需要轉碼,然后用“+”連接。


          String[] array = StringUtils.split(query, null0);

                  
          for (String str : array) {

                      result 
          = result + URLEncoder.encode(str, "UTF-8"+ "+";

                  }



          只有注冊用戶登錄后才能發表評論。


          網站導航:
           

          posts - 131, comments - 12, trackbacks - 0, articles - 32

          Copyright © yukui

          主站蜘蛛池模板: 阳泉市| 西宁市| 五家渠市| 潮州市| 拉萨市| 宕昌县| 太湖县| 吉水县| 兖州市| 额尔古纳市| 台安县| 潼关县| 电白县| 康平县| 屯昌县| 桦甸市| 宁明县| 沙湾县| 小金县| 连山| 奉新县| 平南县| 巴林右旗| 丰城市| 南澳县| 泸定县| 都江堰市| 卢氏县| 清丰县| 南漳县| 寿光市| 蚌埠市| 新乡市| 彰武县| 昌乐县| 克拉玛依市| 千阳县| 湖北省| 大宁县| 大足县| 梁山县|