百度蜘蛛怎會爬這個頁面？

weincheng

大量的蜘蛛爬：/forum.php?mod=viewthread&tid=1131&aid=9851&from=album&page=1&mobile=no，這樣的頁面，有沒辦法解決？

我知道答案 回答被采納將會獲得1 貢獻 已有3人回答

湖中沉

蜘蛛爬什么，咱控制不了，有些搜索引擎的蜘蛛是又傻又缺德

klg548

我經(jīng)常也碰到蜘蛛問題，實在也沒有什么好辦法？只能手工在服務器上屏蔽IP{:4_95:}

ink

同樣的問題遇到已經(jīng)2年了，無解，反饋給百度，百度也沒有具體說法；


其實這頁面還算正常，有時還會收錄不存在的頁面，關鍵是discuz遇到這樣不存在的頁面全部顯示為首頁。


其實應該嚴謹一點：不存在的頁面就應該返回404。