一、站點的robots.txt文件已損壞或者在書寫的時候出現(xiàn)錯誤,書寫不規(guī)范、寫錯了或者拒絕蜘蛛的抓取,robots.txt文件書寫的時候要注意內(nèi)容的大小寫,許多網(wǎng)站都是這個問題,
如果搜索引擎機器人錯誤的理解了您的robots.txt文件,它們可能會完全無視你的網(wǎng)頁。對于這個問題,解決的辦法是仔細檢查您的robots.txt文件,并確保您網(wǎng)頁上的的參數(shù)是正確的,你可以使用谷歌網(wǎng)站管理員工具來創(chuàng)建一個robots.txt文件。
二、網(wǎng)址中包含太多的變數(shù)網(wǎng)址
URL中包含太多的變數(shù)可能會造成搜索引擎機器人搜索困難,如果您的URL包含變數(shù)太多,搜索引擎漫游器可能會忽視您的網(wǎng)頁,對于這個問題一些比較熟悉網(wǎng)站建設的人可能會想到動態(tài)網(wǎng)頁,的確就是這個問題,動態(tài)生成的網(wǎng)頁(括ASP、PHP)可能導致抓取工具無法收錄,解決辦法,使用靜態(tài)頁面或者偽靜態(tài)。
三、在您的網(wǎng)址中使用了會話ID
許多搜索引擎不去收錄那些包含會話ID的網(wǎng)頁,因為它們可導致內(nèi)容的重復,如果可能的話,避免會話ID出現(xiàn)在您的網(wǎng)址,而使用cookies 存儲會話ID。
四、您的網(wǎng)頁中包含太多的JS代碼
網(wǎng)頁中包含了JavaScript代碼、CSS的代碼以及其他腳本代碼。這些代碼與內(nèi)容沒有直接的聯(lián)系,訪問您網(wǎng)頁并選擇“查看源文件”或“查看HTML源”,如果您很難對網(wǎng)站上的實際內(nèi)容進行更改,那么通常情況下搜索引擎收錄起來也很困難。
五、網(wǎng)站導航
大多數(shù)搜索引擎的機器人不能解析JavaScript或DHTML菜單,當然Flash以及Ajax菜單效果更差,應盡量避免使用這些對搜索引擎不友好的方式。
搜索引擎機器人是很簡單的程序,它們遵循HTML鏈接,一旦鏈接出現(xiàn)錯誤對收錄也會帶來困難,這些問題最好是在建站的時候就考慮到,以免再次進行二次開發(fā),并且還影響網(wǎng)站的正常收錄。