屏蔽國外垃圾無用蜘蛛，防止大量抓取導(dǎo)致網(wǎng)站崩潰浪費(fèi)帶寬

klg548

屏蔽國外垃圾無用蜘蛛，防止大量抓取導(dǎo)致網(wǎng)站崩潰浪費(fèi)帶寬

我參考這個(gè)帖子操作有些管用,分享給有這個(gè)方面的站長參考？
http://lieqiyi.com/forum.php?mod=viewthread&tid=1098&extra=page%3D1

1 貢獻(xiàn)

最佳答案

robot.txt部分流氓蜘蛛不遵守，主要還是靠服務(wù)器端去設(shè)置屏蔽掉部分來源即可

• 湖中沉
• 發(fā)表于2023-11-1 13:11:16
• 詳細(xì)答案 >

湖中沉

robot.txt部分流氓蜘蛛不遵守，主要還是靠服務(wù)器端去設(shè)置屏蔽掉部分來源即可

klg548

總算搞定垃圾蜘蛛爬蟲訪問問題，以前一天5-6萬垃圾爬蟲，搞得服務(wù)器內(nèi)存和帶寬卡得要死？現(xiàn)在搞定了