久久精品999,成人国产在线视频,国产福利片在线

Search Engine — Wed, 21 Dec 2005 11:57:00 GMT

1.介绍
nutch是一个完全开源的搜烦引擎�?它的效率可以和商业搜索引擎相媲美.作�ؓ一个研�I��^�?nutch有开攄��zȝ��架构,用户可以制定个性化的搜索引�?nutch的徏立目的是增加web搜烦的透明�?
2.架构
nutch有高质量,模块化的架构特点允许使用插�g来进�?media-type解析,html分析,数据��索协议和查询.有四个主要的模块:
searcher:
�l�一个查�?必需快速的扑ֈ�最��的相关�l�果子集,然后呈现他们.发现一个比较大的相兛_��集工作是建立一个文档集的倒排索引,排序以��生最相关的文�?
indexer:
创徏倒排索引,使用lucene存储倒排索引.
数据�?
为烦引存储文档内�?以及为搜索存储摘�?伴随着像文档的链接�l�构�q�样的信�?
Fetcher:
��h��web��面,解析他们,抽取链接.

Search Engine 2005-12-21 19:57 发表评论

google 的PR��法

Search Engine — Sat, 12 Nov 2005 02:43:00 GMT

此算法被用作googlePR��法的一部分

假设一个概率q�Q��ؓ用户�q�入一个随机抽取的�|�页的概�?�Q�取��gؓ0.15�Q?BR>
1-q�Q?为用戯��入当前网��后点当前网��超链接的概�?BR>
�q�一步假讄��户不回溯先前讉K��的网��，�q�个�q�程可以通过构造马��可夫链来实现。于是每个访问的�|�页的概率就可以��出来�?BR>
设C�Q�a�Q��ؓa�|�页包含的超链接数量�Q�也��是outing link .

设p1 到pn 为指向网��a的网��|��?�?BR>
于是�|�页a的PR��gؓ�Q?BR>
PR�Q�a�Q?q+ (1-q){ 西格玛i�?到n [PR(Pi)/C(Pi)] }

通过公式可以看出C(Pi)的值是已知的，也就是说前�h已经��好�?�?nbsp;

�|�页的PR��g��用是�Q�Crawling可以�Ҏ��|�页的PR值去抓优质的�|�页�?BR>
所以可以看出网��设计者应该设计描�q�性强的网��|��题，头信息，原数据，和好的超链接�?BR>
�q�是我翻译的一��文献的一部分�Q�希望能�l�大家提供一些帮助�?

Search Engine 2005-11-12 10:43 发表评论

转蝲 lucene �?

Search Engine — Thu, 10 Nov 2005 00:45:00 GMT

摘要: Lucene建立Index的过�E? 1. 抽取文本. 比如��PDF以及Word中的内容以纯文本的�Ş式提取出�?Lucene所支持的类型主要�ؓString,��Z��方便同时也支持Date 以及Reader.其实如果使用�q�两个类型lucene会自动进行类型�{�? 2. &nbs... 阅读全文

Search Engine 2005-11-10 08:45 发表评论

转蝲lucene 一

Search Engine — Thu, 10 Nov 2005 00:43:00 GMT

Lucene.Net �p�d��一

作�?idior

2005-03-16 22:36

本文介绍了什么是Lucene,Lucene能做什�?

如何从一个文件夹下的所有txt文�g中查扄��定的�?

本文��围�l�该个实例介�l�了lucene.net的烦引的建立以及如何针对索引�q�行搜烦.最后还��给出源代码供大家学�?

源代码下�?/FONT>

What’s Lucene
Lucene是一个信息检索的函数�?Library),利用它你可以��Z��的应用加上烦引和搜烦的功�?

Lucene的��用者不需要深入了解有兛_��文检索的知识,仅仅学会使用库中的一个类,你就��Z��的应用实现全文检索的功能.

不过千万别以为Lucene是一个象google那样的搜索引�?Lucene甚至不是一个应用程�?它仅仅是一个工�?一个Library.你也可以把它理解��Z��个将索引,搜烦功能��装的很好的一套简单易用的API.利用�q�套API你可以做很多有关搜烦的事�?而且很方�?

What Can Lucene Do

Lucene可以对�Q何的数据做烦引和搜烦. Lucene不管数据源是什么格�?只要它能被�{化�ؓ文字的�Ş�?��可以被Lucene所分析利用.也就是说不管是MS word, Html ,pdf�q�是其他什么�Ş式的文�g只要你可以从中抽取出文字形式的内容就可以被Lucene所�?你就可以用Lucene对它们进行烦引以及搜�?

How To Use Lucene --- A Simple Example
�C�Z��介绍:

��Z��入参数的文�g夹下的所有txt�c�d��的文件做索引,做好的烦引文件放入index文�g�?

然后在烦引的基础上对文�g�q�行全文搜烦.

1. 建立索引
IndexWriter writer = new IndexWriter("index", new StandardAnalyzer(), true);
IndexDocs(writer, new System.IO.FileInfo(args[0]));
writer.Optimize();
writer.Close();

IndexWriter是对索引�q�行写操作的一个类,利用它可以创��Z��个烦引对象然后往其中��d��文�g.需要注意它�q�不是唯一可以修改索引的类.在烦引徏好后利用其他�c�还可以对其�q�行修改.

构造函数第一个参数是建立的烦引所要放的文件夹的名�?�W�二个参数是一个分析对�?主要用于从文本中抽取那些需要徏立烦引的内容,把不需要参与徏索引的文本内容去�?比如��L��一些a the之类的常用词,�q�有军_��是否大小写敏�?不同的选项通过指定不同的分析对象控�?�W�三个参数用于确定是否覆盖原有烦引的.

�W�二步就是利用这个writer往索引中添加文�?具体后面再说.

�W�三步进行优�?

�W�四步关闭writer.

下面具体看看�W�二�?

   public static void IndexDirectory(IndexWriter writer, FileInfo file)
         {
              if (Directory.Exists(file.FullName))
              {
                   String[] files = Directory.GetFileSystemEntries(file.FullName);
                   // an IO error could occur
                   if (files != null)
                   {
                       for (int i = 0; i < files.Length; i++)
                       {
                            IndexDirectory(writer, new FileInfo(files[i])); //�q�里是一个递归
                       }
                   }
              }
              else if (file.Extension == ".txt")
              {
                   IndexFile(file, writer);
              }
         }

         private static void IndexFile(FileInfo file, IndexWriter writer)
         {
              Console.Out.WriteLine("adding " + file);
              try
              {
                   Document doc = new Document();
                   doc.Add(Field.Keyword("filename", file.FullName));

doc.Add(Field.Text("contents", new StreamReader(file.FullName)));

                   writer.AddDocument(doc);
              }

              catch (FileNotFoundException fnfe)
              {

              }
     }

主要��是两个函数一个用于处理文件夹(不是为文件夹建立索引),一个用于真正�ؓ文�g建立索引.

因此主要集中看一下IndexFile�q�个�Ҏ��.首先建立Document对象,然后为Document对象��d��一些属性Field.你可以把Document对象看成是虚拟文�?��来��从此获取信�?而Field则看成是描述此虚拟文件的元数�?metadata).

其中Field包括四个�c�d��:

Keywork	该类型的数据��不被分�?而会被烦引�ƈ保存保存在烦引中.
UnIndexed	该类型的数据不会被分析也不会被烦�?但是会保存在索引.
UnStored	和UnIndexed刚好相反,被分析被索引,但是不被保存.
Text	和UnStrored�c�M��.如果值的�c�d��为string�q�会被保�?如果值的�c�d��Reader��׃��会被保存和UnStored一�?

最后将每一个Document��d��到烦引当�?

需要注意的是烦引不仅可以徏立在文�g�pȝ��?也可以徏立在内存�?

例如

IndexWriter writer = new IndexWriter("index", new StandardAnalyzer(), true);

在第一个参��C��是指定文件夹的名字而是使用Directory对象,�q��用它的子�c�RAMDirectory,��可以将索引建立在内存当�?

2. 对烦引进行搜�?/STRONG>

IndexSearcher indexSearcher= new IndexSearcher(indexDir);
Query query = QueryParser.Parse(queryString, "contents",new StandardAnalyzer());
Hits hits = indexSearcher.Search(query);

�W�一步利用IndexSearcher打开索引文�g用于后面搜烦,其中的参数是索引文�g的�\�?

�W�二步��用QueryParser��可��L��较好的查询语句(比如查询的词lucene ,以及一些高�U�方式lucene AND .net)转化为Lucene内部使用的查询对�?

�W�三步执行搜�?�q�将�l�果�q�回到hits集合.需要注意的是Lucene�q�不是一�ơ将所有的�l�果攑օ�hits中而是采取一�ơ放一部分的方�?��Z��I�间考虑.

Search Engine 2005-11-10 08:43 发表评论

Search Engine — Wed, 09 Nov 2005 13:27:00 GMT

当文本信息库的容量很大时�Q�如果要快速有效的获取文本�Q�那么就需要��用特定的索引技术，一�U�简单而且常用的文本烦引结构是倒排文�g。如果搜索过�E�是以简单的单词匚w��实施的，那么��Z��倒排文�g的烦引结构就能满��回总需求。这�U�基于单词匹配的查询方式在目前的信息获取�pȝ��中用得比较普遍�?BR>
一个典型的倒排文�g由如下几部分�l�成�Q?BR>
�Q?�Q�一个包含信息库中的文本中所有不同单词（也叫作词汇表�Q�的向量�Q?BR>
�Q?�Q�对于词汇表中的每个单词�Q�有一�U�包含这个单词的所有文档（用文档号来标识）�l�成的列表。每个列表中的文档根据文档号的大��升序排列。查询执行的旉��与访问烦引所需要的旉��密切相关�?

Search Engine 2005-11-09 21:27 发表评论

久久精品999,成人国产在线视频,国产福利片在线

google 的PR���法

转蝲 lucene �?

转蝲lucene 一

google 的PR��法