前兩天剛知道用爬蟲抓取page有個(gè)協(xié)議的問(wèn)題，尤其是對(duì)于open
source的爬蟲，剛看到一篇blog，寫的就是如此，難怪之前看google的robots也和另外一個(gè)U.S.的網(wǎng)站相同，感情是大家都商量好了，
可能這方面中國(guó)的一些站點(diǎn)這種意識(shí)要稍微淡一點(diǎn)。。。同時(shí)這也害得畢設(shè)還得另謀思路。。。
搜索引擎三巨頭打的不亦樂(lè)乎，但偶爾也合作一下。去年Google，雅虎，微軟就合作，共同遵守統(tǒng)一的Sitemaps標(biāo)準(zhǔn)。前兩天三巨頭又同時(shí)宣布，共
同遵守的
robots.txt文件標(biāo)準(zhǔn)。Google，雅虎，微軟各自在自己的官方博客上發(fā)了一篇帖子，公布三家都支持的robots.txt文件及Meta標(biāo)簽
的標(biāo)準(zhǔn)，以及一些各自特有的標(biāo)準(zhǔn)。下面做一個(gè)總結(jié)。
三家都支持的robots文件記錄包括：
Disallow - 告訴蜘蛛不要抓取某些文件或目錄。如下面代碼將阻止蜘蛛抓取所有的網(wǎng)站文件：
User-agent: *
Disallow: /
Allow - 告訴蜘蛛應(yīng)該抓取某些文件。Allow和Disallow配合使用，可以告訴蜘蛛某個(gè)目錄下，大部分都不抓取，只抓取一部分。如下面代碼將使蜘蛛不抓取ab目錄下其他文件，而只抓取其中cd下的文件：
User-agent: *
Disallow: /ab/
Allow: /ab
$通配符 - 匹配URL結(jié)尾的字符。如下面代碼將允許蜘蛛訪問(wèn)以.htm為后綴的URL：
User-agent: *
Allow: .htm$
*通配符 - 告訴蜘蛛匹配任意一段字符。如下面一段代碼將禁止蜘蛛抓取所有htm文件：
User-agent: *
Disallow: /*.htm
Sitemaps位置 - 告訴蜘蛛你的網(wǎng)站地圖在哪里，格式為：Sitemap: <sitemap_XXXXXX>
三家都支持的Meta標(biāo)簽包括：
NOINDEX - 告訴蜘蛛不要索引某個(gè)網(wǎng)頁(yè)。
NOFOLLOW - 告訴蜘蛛不要跟蹤網(wǎng)頁(yè)上的鏈接。
NOSNIPPET - 告訴蜘蛛不要在搜索結(jié)果中顯示說(shuō)明文字。
NOARCHIVE - 告訴蜘蛛不要顯示快照。
NOODP - 告訴蜘蛛不要使用開放目錄中的標(biāo)題和說(shuō)明。
上面這些記錄或標(biāo)簽，現(xiàn)在三家都共同支持。其中通配符好像以前雅虎微軟并不支持。百度現(xiàn)在也支持Disallow，Allow及兩種通配符。Meta標(biāo)簽我沒(méi)有找到百度是否支持的官方說(shuō)明。
只有Google支持的Meta標(biāo)簽有：
UNAVAILABLE_AFTER - 告訴蜘蛛網(wǎng)頁(yè)什么時(shí)候過(guò)期。在這個(gè)日期之后，不應(yīng)該再出現(xiàn)在搜索結(jié)果中。
NOIMAGEINDEX - 告訴蜘蛛不要索引頁(yè)面上的圖片。
NOTRANSLATE - 告訴蜘蛛不要翻譯頁(yè)面內(nèi)容。
雅虎還支持Meta標(biāo)簽：
Crawl-Delay - 允許蜘蛛延時(shí)抓取的頻率。
NOYDIR - 和NOODP標(biāo)簽相似，但是指雅虎目錄，而不是開放目錄。
Robots-nocontent - 告訴蜘蛛被標(biāo)注的部分html不是網(wǎng)頁(yè)內(nèi)容的一部分，或者換個(gè)角度，告訴蜘蛛哪些部分是頁(yè)面的主要內(nèi)容（想被檢索的內(nèi)容）。
MSN還支持Meta標(biāo)簽：Crawl-Delay
另外提醒大家注意的是，robots.txt文件可以不存在，返回404錯(cuò)誤，意味著允許蜘蛛抓取所有內(nèi)容。但抓取robots.txt文件時(shí)卻發(fā)生超時(shí)
之類的錯(cuò)誤，可能導(dǎo)致搜索引擎不收錄網(wǎng)站，因?yàn)橹┲氩恢纑obots.txt文件是否存在或者里面有什么內(nèi)容，這與確認(rèn)文件不存在是不一樣的。