不过谈到q个排名和打分问题，咱哥们儿q是应该在一?/span> 合计合计q个事儿 Q?/span>
1. Z么要搞公共排名，而不是个人排名？
个h排名Q读?a onclick="return top.js.OpenExtLink(window,event,this)" target="_blank">老白的文?/a>之后Q才理解q是一个个人知识管理的问题。其实绝大多Chq不订阅
谈到打分Q更是这P没有排名和比较，分数没有意?wbr>。老白其实也可以根据自己心中的分数搞出来一个老白阅读?wbr>Q和胡润财富榜一h为大安d客的重要参照依据?/p>
我没有老白?/span> Keso q样大的影响力，也没有许多时间来一一甄别和评判众多博?wbr>Q只好和大家一P要么期盼老白或?/span> Keso 能够搞出来一个，要么p跟潮，看看有没有社会化评h(hun)的体pd?wbr>法?/span>
2. Z么没有用页面访问量Q?/strong>
q个东西太容易造假Q而且不能反映博客的水q_质量
3. Z么没有用订阅数Q?/strong>
没有使用订阅者倒不是因为担心造假Q这个问题比较复杂?/p>
仅有订阅数是不以表明博客的价倹{比如，有两?/span> Blogger Q?/span> A ?/span> B ?/span> A ?/span> 10 个订阅者， B ?/span> 15 个订阅者，能简单的?/span> B 比 A 更有价值吗Q如果说 A 的订阅者都是象老白Q?/span> Keso q样的大牛，?/span> B 的订阅者都是自己刚开始写博客的小兄弟们， A ?/span> B 的h(hun)值那个高Q这很难说了?/span>
所?/span>
Blogger
有没有h(hun)D要看订阅者的权倹{这L(fng)话，问题来了。凭什么说
q个思\不仅仅能用在|页链接的排名上Q同栯可以用在订阅关系?wbr>博客之间的相互链接上。不q最q有人告诉我Q以色列数学家找Z Page Rank 的缺P认ؓ PR 法没有考虑面的更新程度，一旦一个页面被一?/span> PR 值高的页面链接了Q那׃x怺Q不用更C能保持很高的 PR 倹{有兴趣的h可以参看一?q里。我们在此略q不表?/span>
如果使用了类?/span> PR 法的订阅数Q这个可行吗Q基本上q是不可行的Q因?/span> Blogger 是无法知道自q博客被多h订阅和观看的Q不同的客户?wbr>Q还有许多象 Bloglines Q?/span> Gougou q样的中转站Q不同的标准Q根本无法统计?/span>
4. Z么没有给别h打分呢？
在公认的排名中，l别人打分，也有个信用度的问?wbr>。象老白q样德高望重Q品学兼优的人打出来的分数就可靠?wbr>Q小兄弟们打出来的分数就没有那么可靠。所以，在打分之前也涉及?
l文章打分而不是给人打分，q也比较复杂。博?/span>
A
一月
5
博客，篇都是_֓Q博?/span>
B
一月
10
，其中
3
是_֓Q?/span>
7
是他个人的八卦故事Q谁的分数应该高一些？如果是按dQ显?/span>
B
要高Q但?/span>
A
在常理判断上g更有价g些，因ؓ他精品多Q阅d扰却不多
5. Z么没有搞客户端的评h(hun)体系Q?/strong>
原因是客户端太多，如果希望l一太复杂。在q点?wbr>Q我同意王徏的说法Q?a onclick="return top.js.OpenExtLink(window,event,this)" target="_blank">当一件事情有赖于多于一个h的努力才能成功的话，他成功的可能性就
{到一博客大牛们把自q Blogger Rank 图标象蓝色的 Bloglines 订阅敎ͼl色?/span> Gougou 订阅Ch在自q博客上，大家又象讨论 Alexa 排名一样ؓq个 Blogger Rank 争论不休。这个时候，才算略有成?/span>
正因虑到这些东西，才写下了q篇文章Q就当作是抛砖引玉吧Q希望看到更多更好的思\?br />
from: http://blog.donews.com/henryhwa/archive/2006/03/29/798355.aspx
weidagang2046 2007-01-02 13:47 发表评论
]]>Google SiteMap Protocol是Google自己推出的一U站点地囑֍议，此协议文件基于早期的robots.txt文g协议Qƈ有所升。在Google官方指南中指出加入了Google SiteMap文g的网站将更有利于Google|页爬行机器人的爬行索引Q这样将提高索引|站内容的效率和准确度。文件协议应用了单的XML格式Q一q?个标{，其中关键标签包括链接地址、更新时间、更新频率和索引优先权?/p>
Google SiteMap文g生成后格式如下：
XML标签
- changefreq:面内容更新频率?
- lastmod:面最后修Ҏ(gu)?
- loc:面怹链接地址
- priority:相对于其他页面的优先?
- url:相对于前4个标{父标{?
- urlset:相对于前5个标{父标{?
- <urlset xmlns="http://www.google.com/schemas/sitemap/0.84">
q一行定义了此xml文g的命名空_相当于网|件中?lt;html>标签一L(fng)作用? <url></url> q是具体某一个链接的定义入口Q你所希望展示在SiteMap文g中的每一个链接都要用<url>?lt;/url>包含在里面，q是必须的?<loc>http://www.keyusoft.cn</loc> ?lt;loc>描述出具体的链接地址Q这里需要注意的是链接地址中的一些特D字W必{换ؓXML(HTML)定义的{义字W，如下表：字符 转义后的字符 HTML字符 字符~码 and(? & & & 单引?/td> ' ' ' 双引?/td> " " " 大于?/td> > > > 于?/td> < < < <lastmod>2005-06-03T04:20:32-08:00</lastmod> <lastmod>是用来指定该链接的最后更新时_q个很重要。Google的机器h会在索引此链接前先和上次索引记录的最后更新时间进行比较，如果旉一样就会蟩q不再烦引。所以如果你的链接内容基于上ơGoogle索引时的内容有所改变Q应该更新该旉Q让Google下次索引时会重新对该链接内容q行分析和提取关键字。这里必ȝISO 8601中指定的旉格式q行描述Q格式化的时间格式如下：- q_YYYY(2005)
- q和月：YYYY-MM(2005-06)
- q月日：YYYY-MM-DD(2005-06-04)
- q月日小时分钟：YYYY-MM-DDThh:mmTZD(2005-06-04T10:37+08:00)
- q月日小时分钟秒QYYYY-MM-DDThh:mmTZD(2005-06-04T10:37:30+08:00)
<changefreq>always</changefreq> 用这个标{֑诉Google此链接可能会出现的更新频率，比如首页肯定p用always(l常)Q而对于很久前的链接或者不再更新内容的链接可以用yearly(每年)。这里可以用来描q的单词p几个Q?always", "hourly", "daily", "weekly", "monthly", "yearly"Q具体含义我׃用解释了吧，光看单词的意思就明白了?<priority>1.0</priority> <priority>是用来指定此链接相对于其他链接的优先权比|此值定?.0 - 1.0之间- q有</url>?lt;/urlset>Q这两个是来关闭xml标签的，q和HTML中的</body>?lt;/html>是一个道?
- 另外需要注意的?/b>Q这个xml文g必须是utf-8的编码格式，不管你是手动生成q是通过代码生成Q徏议最好检查一下xml文g是否是utf-8~码Q最单的Ҏ(gu)是用记事本打开xml然后另存为时选择~码(或{换器)为UTF-8?
from: http://www.cnblogs.com/shanyou/archive/2006/11/17/564152.aspx
weidagang2046 2006-12-30 17:36 发表评论
]]>weidagang2046 2006-12-18 21:42 发表评论
]]>概述Q?br />
假设?个schemaQS1和S2。我们要为S1里每一个元素在S2中找到匹配的元素?br /> q程如下Q?br /> 1. G1 = SQL2Graph(S1); G2 = SQL2Graph(S2); 把schema变成图，N用了Open Information Model (OIM)规格Q图中node采用矩Ş和卵形，矩Ş是文字描qͼ卵Ş是标识符
2. initialMap = StringMatch(G1, G2); 用字W串匚w做ؓ初始匚wQ主要是比较通常的前~和后~Q这L(fng)l果通常是不准确?br />
3. product = SFJoin(G1, G2, initialMap); 用SF法生成l果?font color="#0000ff">假设两个不同的节Ҏ(gu)怼的，则它们邻接元素的怼度增加。经q一pd的P代，q种怼度会传遍整个?br />
4. result = SelectThreshold(product); l果{?br />
SF法
图中的每条边Q用一个三元组表示QsQpQoQ，分别?源点Q边名，目的炏V?br />
怼度传播图Q首先定义pairwise connectivity graph(PCG) Q?((x; y); p; (x'; y')) 属于 PCG(A;B)<==>(x; p; x') ?A and (y; p; y') ?B?关键是p要相同，也就是边的名字一栗?/font>式子从右向左推导Q就可以A、B从两个模型徏立v它们的PCG?/font>图中的每个节点，都是A和B中的元素构成?元组Q叫做map pairs?br /> induced propagation graph。从PCG推导而来Q加上了反向的边Q边上注明了[传播pL]Qgؓ 1/nQn为相应的边的数目?br /> 不动点计：
设?x; y) > 0 代表了节点x ?A ?y ?B 的相似度Q是在整个 A X B的范围上定义的。我们把 Q(mo) 叫做 mapping。相似度的计就是基于?values的P代计。设 Q(mo)i 代表了第 i ơP代后的结果，Q(mo)0 是初始相似度Q可以用字符串相似度的办法的得出Q在我们的例子里Q没?Q(mo)0 Q即?Q(mo)0 =1Q?br /> 每次q代中，Q(mo)-values 都会Ҏ(gu)光居paris?Q(mo)-values 乘以[传播pL] 来增加。例如，在第一ơP?Q(mo)1(a1; b1) = Q(mo)0(a1; b1) + Q(mo)0(a; b) * 0.5 = 1.5。类似的Q?sup>1(a, b) = Q(mo)0(a, b) + Q(mo)0(a1; b1) * 1.0 + Q(mo)0(a2, b1) *1.0 = 3.0。接下来Q所?Q(mo) D行正规化Q比如除以当前P代的 Q(mo)的最大|保证所?Q(mo) 都不大于1。所以在正规化以后，Q(mo)1(a; b) = 1.0, Q(mo)1(a1, b1) = 1.5/3.0 = 0.5。一般情况下QP代如下进行：
上面的计进行P代，直到 Q(mo)n ?Q(mo)n-1之间的差别小于一个阈|如果计算没有聚合Q我们就在P代超q一定次数后停止。上?的第三副图，是5ơP代后的结果。表3时一些计方法，后面的实验表明，C比较好。A叫做 sparceQB叫做 exceptedQC叫做verbose
qo
q代出的l果是一U[多匹配]Q可能包含有用的匚w子集?br /> 三个步骤Q?br /> 1。用E序定义的[限制条g]q行qo?br /> 2。用双向图中的匹配上下文技术进行过?br /> 3。比较各U技术的有效性（满用户需求的能力Q?br /> 限制Q主要有两种Q一个是[cd]限制Q比如只考虑[列]的匹配（匚w双方都是列）。第二个?cardinality 限制Q即模式S1中的所有元素都要在S2中有一个映?br />
stable marriage问题Qn奛_n男配对，不存在这L(fng)两对 (x; y)?x0; y0)Q其中x喜欢 y0 胜过 yQ而且 y0 喜欢 x 胜过 x0。具有stable marriage的匹配结果的total satisfaction可能会比不具有stable marriage的匹配结果还低！
匚w质量的评?br />
基本的评估思想Q就是?用户对匹配结果做的修改越，匚w质量p高（修改l果包括L错误的pairQ加上正的pairQ?br /> n是找到的匚w敎ͼm是理想的匚w敎ͼc是用户作Z正的数目?br />
from: http://www.cnblogs.com/anf/archive/2006/08/15/477700.html
weidagang2046 2006-11-17 18:25 发表评论
]]>许多用户可能会遇到这L(fng)情况Q在|站上发C个很好的资源Q但是这个资源是分成了很多个文g存放的，如果x它保存到本地Q只有靠用户点击另存来完成保存，如果资源分了几百甚至上千上万Q那直是个灾难?
在Internet上很多的资源分成多个文g存放Ӟ它的文g命名是有一定的规则的；正因如此Q我们就可以用程序来完成q个资源的完全下载?br />
1. 基础知识
在Internet上，我们要下载网站上的某个资源，我们会获得一个URLQUniform Resource LocatorQ，它是一个服务器资源定位的描qͼ下蝲的过EL如下步骤:
步骤1:客户端发赯接请求一个URL
步骤2:服务器解析URLQƈ指定的资源q回一个输入流l客?
步骤3:客户端接收输入流Q将中的内容存到文?
2. |络q接的徏?/strong>
Java提供了对URL讉K和大量的操作的的APIQ我们可以很Ҏ(gu)的完成对|络上资源的存取,下面的代码段完成了对一个网站的资源q行讉K:
......
destUrl="http://www.ebook.com/java/|络~程001.zip";
url = new URL(destUrl);
httpUrl = (HttpURLConnection) url.openConnection();
//q接指定的网l资?br />httpUrl.connect();
//获取|络输入?br />bis = new BufferedInputStream(httpUrl.getInputStream());
......
3. 代理的访?/strong>
Java 中通过代理服务器访问外|的Ҏ(gu)已经是世人皆知的U密了。这里就不再多描qCQ访问的JAVA代码如下:
//讄代理服务?br />System.getProperties().put("proxySet", "true");
System.getProperties().put("proxyHost", "10.154.134.110");
System.getProperties().put("proxyPort", "8080");
4. |络资源的保?/strong>
在上节中Q我们已l获取了指定|络资源的输入流Q接下来我们要完成的是d输入中的所以内容，q将其保存在文g中。示例代?
......
fos = new FileOutputStream(fileName);
if (this.DEBUG)
System.out.println("正在获取链接[" + destUrl + "]的内?..\n其保存为文件[" + fileName +"]");
//保存文g
while ( (size = bis.read(buf)) != -1)
fos.write(buf, 0, size);
......
上面的示例代码就网l资源的内容保存C本地指定的文件中?br />
5. 代码清单
import java.io.*;
import java.net.*;
import java.util.*;
/**
* QpQTitle: 个h开发的APIQ?pQ?br />* QpQDescription: 指定的HTTP|络资源在本C文g形式存放Q?pQ?br />* QpQCopyright: Copyright (c) 2004Q?pQ?br />* QpQCompany: NewSkyQ?pQ?br />* @author MagicLiao
* @version 1.0
*/
public class HttpGet {
public final static boolean DEBUG = true;//调试?br /> private static int BUFFER_SIZE = 8096;//~冲区大?br /> private Vector vDownLoad = new Vector();//URL列表
private Vector vFileList = new Vector();//下蝲后的保存文g名列?br />
/**
* 构造方?br /> */
public HttpGet() {}
/**
* 清除下蝲列表
*/
public void resetList() {
vDownLoad.clear();
vFileList.clear();
}
/**
* 增加下蝲列表?br /> *
* @param url String
* @param filename String
*/
public void addItem(String url, String filename) {
vDownLoad.add(url);
vFileList.add(filename);
}
/**
* Ҏ(gu)列表下蝲资源
*/
public void downLoadByList() {
String url = null;
String filename = null;
//按列表顺序保存资?br /> for (int i = 0; i Q?vDownLoad.size(); i++) {
url = (String) vDownLoad.get(i);
filename = (String) vFileList.get(i);
try {
saveToFile(url, filename);
}
catch (IOException err) {
if (DEBUG) {
System.out.println("资源[" + url + "]下蝲p|!!!");
}
}
}
if (DEBUG) {
System.out.println("下蝲完成!!!");
}
}
/**
* HTTP资源另存为文?br />*
* @param destUrl String
* @param fileName String
* @throws Exception
*/
public void saveToFile(String destUrl, String fileName) throws IOException {
FileOutputStream fos = null;
BufferedInputStream bis = null;
HttpURLConnection httpUrl = null;
URL url = null;
byte[] buf = new byte[BUFFER_SIZE];
int size = 0;
//建立链接
url = new URL(destUrl);
httpUrl = (HttpURLConnection) url.openConnection();
//q接指定的资?br /> httpUrl.connect();
//获取|络输入?br /> bis = new BufferedInputStream(httpUrl.getInputStream());
//建立文g
fos = new FileOutputStream(fileName);
if (this.DEBUG)
System.out.println("正在获取链接[" + destUrl + "]的内?..\n其保存为文件[" + fileName + "]");
//保存文g
while ( (size = bis.read(buf)) != -1)
fos.write(buf, 0, size);
fos.close();
bis.close();
httpUrl.disconnect();
}
/**
* 讄代理服务?br />*
* @param proxy String
* @param proxyPort String
*/
public void setProxyServer(String proxy, String proxyPort) {
//讄代理服务?
System.getProperties().put("proxySet", "true");
System.getProperties().put("proxyHost", proxy);
System.getProperties().put("proxyPort", proxyPort);
}
/**
* 讄认证用户名与密码
*
* @param uid String
* @param pwd String
*/
public void setAuthenticator(String uid, String pwd) {
Authenticator.setDefault(new MyAuthenticator(uid, pwd));
}
/**
* L?用于试)
*
* @param argv String[]
*/
public static void main(String argv[]) {
HttpGet oInstance = new HttpGet();
try {
//增加下蝲列表Q此处用户可以写入自׃码来增加下蝲列表Q?br /> oInstance.addItem("http://www.ebook.com/java/|络~程001.zip","./|络~程1.zip");
oInstance.addItem("http://www.ebook.com/java/|络~程002.zip","./|络~程2.zip");
oInstance.addItem("http://www.ebook.com/java/|络~程003.zip","./|络~程3.zip");
oInstance.addItem("http://www.ebook.com/java/|络~程004.zip","./|络~程4.zip");
oInstance.addItem("http://www.ebook.com/java/|络~程005.zip","./|络~程5.zip");
oInstance.addItem("http://www.ebook.com/java/|络~程006.zip","./|络~程6.zip");
oInstance.addItem("http://www.ebook.com/java/|络~程007.zip","./|络~程7.zip");
//开始下?br /> oInstance.downLoadByList();
}
catch (Exception err) {
System.out.println(err.getMessage());
}
}
}
from: http://www.1-100.org/other/11548.htm
weidagang2046 2006-11-17 10:26 发表评论
]]>1、网|据收集?br />WgetE序是一个优U的网|集程序，它采用多U程设计能够方便地将|站内容镜像到本地目录中Qƈ且能够灵zd制收集网늚cd、递归攉层次、目录限额、收集时间等。通过专用的收集程序完成网늚攉工作Q既降低了设计的隑ֺ又提高了pȝ的性能。ؓ了减本地数据的规模Q可只收集能够查询的html文g、txt文g、脚本程序asp和php只用缺省的l果Q而不攉如图形文件或是其他的数据文g。?br />2、网|据过滤?br />׃html文g中存在大量的标记Q如<body><table>{，q些标记数据没有实际的搜索h(hun)|所以加入数据库前必d攉的数据进行过滤。Perl作ؓq泛使用的脚本语aQ拥有非常强大而丰富的E序库，可以方便地完成网늚qo。通过使用HTML-Parser库可以方便地提取出网中包含的文字数据、标题数据、链接数据等。该E序库可以在www.cpan.net中下载，q且该网站收集的PerlE序涉及范围之广Q远q超出我们的现象。?br />3、目录服务?br />目录服务是针对大量数据检索需要开发的服务Q最早出现在X.500协议集中Q后来扩展到TCP/IP中发展成为LDAPQLightweight Directory Acess ProtocolQ协议，其相关的标准?995q制定的RFC1777?997q制定的RFC2251{。LDAP协议已经作ؓ工业标准被Sun、Lotus、微软等公司q泛应用到其相关产品中，但是专用的基于Windowsq_的目录服务器却较?yu)见QOpenLDAP是免费的q行于Unixpȝ的目录服务器Q其产品的性能优秀Q已l被许多的Linux发行版本攉QRedhat、Mandrake{）Qƈ且提供了包括C、Perl、PHP{的开发接口。?br />使用目录服务技术代替普通的关系数据库作为网|据的后端存取q_主要Z目录服务的技术优ѝ目录服务简化了数据处理cdQ去掉了通用关系数据库的Ҏ(gu)的事务机Ӟ而是采用全局替换的策略对数据q行更新Q其应用的重Ҏ(gu)大量数据的检索服务（一般数据更新和索的频率比例要求?:10以上Q，索速度和全文查询，提供完整的数据备份，非常适合搜烦引擎之类服务的需要。从目录服务技术解决问题的重点不难看出其在数据索上的优势，它的提出旉q远落后于关pL据库的提出时_实际上反映了Ҏ(gu)具体问题优化数据解决Ҏ(gu)的原则。这与目前广泛存在的凡是涉及大量数据处理必选SQL Server的处理方法Ş成鲜明对比。?br />通过选用成熟的目录服务技术提高网|询的效率Q能够简z有效地提高数据处理能力。这也充分显CZGNU/Linuxpȝq行开放Y件的优势Q毕竟不能方便地获得q行于其他^台的目录服务器。?br />4、查询程序设计?br />搜烦引擎的前端界面是|页Q用户通过在特定的|页中输入关键字提交lWeb服务器进行处理。运行在Apache Web服务器上的PHP脚本通过q行其相关ldap函数便可以执行关键字的查询工作。主要进行的工作是根据关键字构造查询、向目录服务器提交查询、显C查询结果等。Linux + Apache + PHP作ؓq泛使用Web服务器，与WinNT + IIS + ASP相比其性能毫不逊色Q在目前的Linux发行版本中都集成了Apache + PHP 以及~省的ldap、pgsql、imap{模块。?br />5、计划Q务?br />搜烦引擎的网|据收集、数据过滤、加入目录数据库{工作都应该是自动完成的Q在UNIXpȝ中有cronq程来专门完成按照特定时间调度Q务，Z不媄响系l的q行Q一般可以把q些工作安排到深夜进行。?br />二、具体步骤和注意事项
1、配|Wget软g
在RedHat 6.2发行版中已经集成了该软g包，可以直接q行安装。将需要镜像的站点地址~辑Z个文件中Q通过 -I 参数d该文Ӟ为镜像的站点指定一个本C载目录；Z避免内部|中链接的重复引用，一般只镜像该站点内的数据；q可以根据网站的具体情况Q指定其镜像的深度。?br />2、配|Openldap服务
在RedHat 6.2发行版中已经集成了Openldap-1.2.9Q其配置文g存放?etc/openldap的目录中。主要的配置文g是slapd.confQ关键要打开Ҏ(gu)索速度臛_重要的index选项Q可以用setup工具Q将ldap在系l引导后作ؓ~省服务启动。?br />Ldap服务可以通过文本文g方式存放数据Q即LDIF文g格式。用此方式可以高效地更新目录服务数据，需要注意LDIF格式是通过IҎ(gu)据进行分隔的Qƈ且通过q行ldif2lbmLDIF格式数据导入目录数据库中旉要暂停目录服务。?br />3、编制数据过滤和LDIF文g生成脚本
Z方便地过滤网|据，可以调用Perl的HTML-Parser库函敎ͼ该程序包下蝲后需要进行编译，在eg目录下生成了相关的htextQhtitleE序Q在Perl中可以通过调用外部E序的方式运行该E序Qƈ对其qol果通过重定向的Ҏ(gu)生成临时文g。本搜烦引擎设计的目录数据属性有dn 、link、title、modifydate、contentsQ其中的dn通过Linkq行唯一性标识，过滤后的网|本内定w过/usr/sbin/ldifE序q行自动~码后放入LDIF文g中。?br />基本的LDIF文g格式如下Q?br />dn: dc=27jd,dc=zzb
objectclass: top
objectclass: organization
?br />dn: link= http://freemail.27jd.zzh/index.html, dc=27jd ,dc=zzb
link: http://freemail.27jd.zzh/index.html
title: Webmail主页
modifydate: 2001q??日?br />contents::
CgpXZWJtYWls1vfSswoKCgoKIKHvoaG7ttOtyrnTw1dlYm1haWzPtc2zoaGh7yDO0t
KqyerH69PKz+QhISFPdXRsb29rxeTWw6O6U01UUDogZnJlZW1haWwuMjdqZC56emJQ
T1AzOiBmcm
VlbWFpbC4yN2pkLnp6YkROUyA6IDExLjk5LjY0Ljiy4srU08O7p6O6bWFpbGd1ZXN00
8O7p7/awe
6jum1haWxndWVzdNLR16Ky4dPDu6cg08O7p8P7OkAgZnJlZW1haWwuMjdqZC56emK/
2sHuOqChoa
AgIKHyzOG5qbf+zvEgofKzo7z7zsrM4iCh8s2o0bbCvKHyICCh8sq1z9bUrcDtIKHywfTR1
LK+of
IgofK8vMr1sr/W99Kzsb7Ptc2z08nK1NHpvLzK9bK/zfjC59bQ0MS9qMGius3OrLukCgoK
CqAKCg
o=
objectclass:webpage
?br />基本的slapd.conf文g如下Q?br />defaultaccess read
include /etc/openldap/slapd.at.conf
#include /etc/openldap/slapd.oc.conf
schemacheck off
sizelimit 20000
pidfile /var/run/slapd.pid
argsfile /var/run/slapd.args
#######################################################################
# ldbm database definitions
#######################################################################
database ldbm
dbcachesize 1000000
index contents,title
suffix "dc=27jd, dc=zzb"
directory /usr/tmp
rootdn "cn=root,dc=27jd, dc=zzb"
rootpw secret
?br />通过对一?万个|页Q约300M左右Q的本地html文g目录q行qo后生成的LDIF文gU?80M左右Q如果只取文字数据的?00个字W作为网内容，则生成文件约35M左右。?br />4、配|PHP+LDAP服务
在Redhat6.2中已l集成了PHP3和php-ldap模块Q选择完全安装时便已经安装?usr/lib/apache目录中，注意?etc/httpd/php3.ini中的动态扩展（Dynamic ExtensionsQ中的extension=ldap.so是否被选择。PHP3中提供了丰富的LDAP存取函数Q能够方便完成对目录数据的搜索功能。有关Apach + PHP~程斚w的资料较多，在此不在赘述。注意在PHP3中的LDAP搜烦函数l(f)dap_search不能处理其返回结果超q目录服务设定的最大检索数据，所以可以根据具体情况，在slapd的配|文件中讑֮较大的检索数据限?sizelimit)Q此问题在PHP4中已l解冟뀂?br />5、Q务调度?br />在Redhat6.2中已l集成了crondq且~省安装后便已经启动。其相关配置文g?etc/crontab?etc/cron.daily?etc/cron.hourly?etc/weekly?etc/monthlyQ你只需要根据数据的更新频度Q将|页攉、网过滤、生成LDIF文g、停止目录服务、更新目录数据、重新启动目录服务，作ؓ一个简单的ShellE序攑օ到相应的目录中即可。?br />三、效果与思考?br />以上单的介绍了我们的搜烦引擎的实现方法和注意事项Q这仅仅是我们在对GNU/Linux了解得非常肤的情况下设计的以目录服务ؓ核心的满_部网需要的搜烦引擎pȝQƈ不能代表GNU/Linux和它集成的大量Y件的真正实力。?br />通过在一台安装RedHat Linux 6.2 的Sparc Ultra 250上实际测试，Ҏ(gu)?万个|页的目录数据进行搜索时Q基于上q方法设计的搜烦引擎响应速度一般在3U左叻I目录数据完全更新大约需?时左右Q能够满_部网的需要。实际上Q限制搜索响应速度的关键是PHP3的ldap_search函数没有提供数据限制的功能，D在查询结果集q大时系l响应速度变慢Q因为每ơ用戯够浏览的查询l果实际是非常少的，而服务器端每ơ的查询Lq回全部l果Q在PHP4中的ldap_search通过指定sizelimit参数Q能够有效解册问题。?br />目录服务的应用范围非常广泛，实际上作为大型的信息站点Z提高客户讉K效率Q都或多或少采用了目录服务的技术。目录服务根据具体的应用需求的优化设计Ҏ(gu)Q对我们军_应用pȝ的开发无疑是一个启发，应该说在Z索引信息的领域LDAP服务q远优于传统的关pL据库pȝ。?br />ZGNU/Linuxq行|络服务器程序设计，能够充分体会到开放源代码的魅力和实力Q它既能够简化系l的设计Q又大大地提高了工作效率Q同时也有效降低了系l的成本。程序设计由一切从零开始的复杂J琐的重复劳动，化ؓ问题抽象、功能分解、查找资源、组合系l四个部分，更加对系l的认识、开阔的视野和学?fn)的能力Q同时开放源代码也ؓpȝq一步优化提供了坚实的基。?br />
weidagang2046 2006-11-17 09:35 发表评论
]]>