隨筆分類(103)

　　從淘寶第一個(gè)開始屏蔽百度以來，國內(nèi)很多主流的 SNS 網(wǎng)站和大型的內(nèi)容性質(zhì)的網(wǎng)站都開始或即將開始屏蔽百度了，這些網(wǎng)站包括校內(nèi)網(wǎng)、海內(nèi)網(wǎng)等國內(nèi)主要SNS網(wǎng)站，以及搜狐博客、51.com等網(wǎng)站。從SNS社區(qū)的說法，他們屏蔽搜索引擎是為了保護(hù)用戶的隱私，但更多的是在保護(hù)自己的利益，比如說淘寶是在保護(hù)其極為客觀的商品信息，而SNS是在保護(hù)對(duì)其最有價(jià)值的用戶信息，特別從搜狐博客來看，更多的是希望提高其搜狗搜索的內(nèi)容價(jià)值，總的來說，東西絕非單純，純粹是一種商業(yè)上的運(yùn)作了，淘寶網(wǎng)敢第一個(gè)站出來跟百度斗，其他預(yù)謀已久的各大SNS網(wǎng)站跟著后頭就跟著殺出來了。

　　這段時(shí)間百度又跟三鹿奶粉事件牽扯上了一些不清不楚的關(guān)系，搞的百度最近也疲于解釋這些事，當(dāng)然大家也不會(huì)真的相信這種解釋了，因?yàn)榘俣仍谒阉鹘Y(jié)果人工干預(yù)上已經(jīng)受到非常多的人的抱怨，我們也完全相信百度能干得出這樣的事情，具體是因?yàn)檫@次風(fēng)險(xiǎn)大還是嫌錢少了沒有去做，我們就不得而知了。

　　附一些主要網(wǎng)站的 robots.txt 文件，證明一下百度是如何被屏蔽的。

http://www.xiaonei.com/robots.txt
# Robots.txt file from http://www.xiaonei.com
# All robots will spider the domain

User-agent:BaiduSpider
Disallow:/

http://blog.sohu.com/robots.txt
User-agent: Googlebot
Disallow:

User-agent: baiduspider
Disallow: /

User-agent: Nutch
Disallow:

User-agent: *
Disallow: /

http://www.taobao.com/robots.txt
User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /

From: Steady Blog 國內(nèi)主流SNS開始屏蔽百度