搜索不遵守規(guī)則怎么辦

ysx24

弄了一個(gè)備份站點(diǎn)不對(duì)外開放，放損友們的游戲截圖游戲宏備份等，游戲友們內(nèi)部使用（當(dāng)然沒有學(xué)習(xí)日語的視頻，都是一群不正經(jīng)的正經(jīng)人）
并且在論壇根目錄下的
robots.txt  規(guī)則只有兩行

1. #
   
2. # robots.txt for Discuz! X3
   
3. #
   
4. 
   
5. User-agent: *
   
6. Disallow:/
   

復(fù)制代碼

禁止所有搜索引擎抓取，可谷歌蜘蛛還是時(shí)常來，是規(guī)則有問題么？

初錦

如果你是想要我這種效果，那很容易。如果想要蜘蛛不來，很難，人家憑什么不來？就因?yàn)槟阋患埧瘴木筒粊?？人家不做生意了嗎？谷歌?hào)稱全球最大流氓，你指望人家不來？

ysx24

谷歌做為全球性大公司，不遵守robots君子協(xié)定，這倒有些意外
對(duì)了  你的robots能分享下么

老周部落

1. User-Agent: *
   
2. Disallow: /

復(fù)制代碼

好像您的版本少了空格

另外 robots.txt 也不會(huì)完全避免采集，他還是會(huì)定期爬一下 robots.txt 的。
另外有的軟件防火墻會(huì)干掉 robots.txt 訪問，如果干掉的話也不能終止爬取。

ysx24

老周部落 發(fā)表于 2021-12-30 21:18
好像您的版本少了空格

另外 robots.txt 也不會(huì)完全避免采集，他還是會(huì)定期爬一下 robots.txt 的。

改真是，少了個(gè)空格