csusky

導(dǎo)航

<

2008年5月

>

日

一

二

三

四

五

六

27

28

29

30

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

1

2

3

4

5

6

7

留言簿(2)

隨筆分類

隨筆檔案

閱讀排行榜

評論排行榜

常用鏈接

統(tǒng)計

隨筆 - 32
文章 - 0
評論 - 5
引用 - 0

關(guān)于IndexWriter中的3個性能參數(shù)

在IndexWriter中有3個重要的性能參數(shù)
mergeFactor           默認(rèn)為10
minMergeDocs      默認(rèn)為10
maxMergeDocs     默認(rèn)為Integer.maxValue

maxMergeDocs     一個段中所能包含的最大的doc數(shù)，達(dá)到這個數(shù)目即不再將段進(jìn)行合并一般不改變這個值
minMergeDocs      是指在RAMDirectory中保存的Doc的個數(shù)，達(dá)到minMergeDocs 個即要合并到硬盤上去（在硬盤上新建一個段）
mergeFactor           合并因子，是控制硬盤上的段的合并的，每次在硬盤上新建一個段之后即執(zhí)行
                                 targetMergeDocs*=mergeFactor（一開始targetMergeDocs=minMergeDocs）如果硬盤上的doc數(shù)目大于等于                            targetMergeDocs則將硬盤上最后建立的mergeFactor個段進(jìn)行合并成一個段

拿默認(rèn)的參數(shù)舉例：
如果硬盤上面已經(jīng)有9個段每個段分別存儲了10個Document,共（90個DOC），這時候如果程序再向硬盤合并一個新的段（含10個DOC），合并完之后targetMergeDocs=10*10 程序檢查已經(jīng)合并的最后（按照創(chuàng)建的時間先后順序）mergeFactor個段的document的總和100是否大于等于targetMergeDocs（這里是100，剛好滿足要求）于是程序又將硬盤上面的后10個段合并為一個新的段。

另外一個例子：
doc數(shù)目            段數(shù)目
1000---------------9個
100-----------------9個
10   ----------------9個
這時如果再象硬盤中新建一個新的包含了10個doc的段
    doc數(shù)目            段數(shù)目
(1) 1000----------------9個

(2) 100-----------------9個

(3)   10  ----------------9個

(4)    10 ----------------1個
這時候(3)(4)首先合并成一個新的段(3-4)包含100個doc
然后(2)(3-4)和并成一個新段（2-3-4）包含1000個doc
然后(1)(2-3-4)合并成一個新的段包含10000個doc
最后合并成一個段

private final void maybeMergeSegments() throws IOException {

long targetMergeDocs = minMergeDocs;

while (targetMergeDocs <= maxMergeDocs) {

// find segments smaller than current target size

int minSegment = segmentInfos.size();

int mergeDocs = 0;

while (--minSegment >= 0) {

SegmentInfo si = segmentInfos.info(minSegment);

if (si.docCount >= targetMergeDocs)

break;

mergeDocs += si.docCount;

}

if (mergeDocs >= targetMergeDocs) // found a merge to do

mergeSegments(minSegment+1);

else

break;

targetMergeDocs *= mergeFactor; // increase target size

System.out.println("- -- - -targetMergeDocs:"+targetMergeDocs);

try {Thread.sleep(5000);} catch(Exception e) {};

}

posted on 2008-05-15 19:27 曉宇閱讀(1437) 評論(0) 編輯收藏所屬分類: LUCENE

新用戶注冊刷新評論列表


只有注冊用戶登錄后才能發(fā)表評論。




網(wǎng)站導(dǎo)航: 博客園 IT新聞 Chat2DB C++博客博問管理
相關(guān)文章: Lucene的切詞 analysis包關(guān)于IndexWriter中的3個性能參數(shù) Lucene索引文件的格式 org.apache.lucene.index.SegmentInfos org.apache.lucene.index.SegmentInfo org.apache.lucene.store.RAMInputStream org.apache.lucene.store.RAMOutputStream org.apache.lucene.store.RAMFile org.apache.lucene.store.OutputStream org.apache.lucene.store.FSDirectory