97久久国产亚洲精品超碰热,成人又色又爽的免费网站,色偷偷女人的天堂a,男女高潮喷水在线观看,国内精品一线二线三线区别在哪里

Discuz! 官方交流社區(qū)

標(biāo)題: 請(qǐng)問如何禁谷歌和必應(yīng)的蜘蛛搜索引擎 [打印本頁]

作者: amw123456789 時(shí)間: 2023-8-10 23:48
標(biāo)題: 請(qǐng)問如何禁谷歌和必應(yīng)的蜘蛛搜索引擎
必應(yīng)每天都有幾千個(gè)爬行記錄，就是老爬個(gè)人資料

robots.txt我這樣寫對(duì)么，大佬幫糾正一下

#
# robots.txt for Discuz! X3
#

User-agent: *
Allow: /data/attachment/
Allow: /data/cache/
Allow: /uc_server/data/avatar/
Disallow: /api/
Disallow: /data/
Disallow: /source/
Disallow: /install/
Disallow: /template/default/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
Disallow: /forum.php?mod=redirect*
Disallow: /forum.php?mod=post*
Disallow: /*?mod=misc*
Disallow: /*?mod=attachment*
Disallow: /*mobile=yes*
Disallow: */home
Disallow: */home.php?mod=spacecp*
Disallow: */home.php?mod=profile*

User-agent: Googlebot
Disallow: /

User-agent: bingbot
Disallow: /

User-agent: manbot
Disallow: /

作者: amw123456789 時(shí)間: 2023-8-11 09:45
11111111111

作者: dm360 時(shí)間: 2024-7-11 14:55
現(xiàn)在百度不給站長活路，bing還算友好了，。至少大部分站點(diǎn)的bing流量已經(jīng)超越百度了。，你還禁止bing抓取

歡迎光臨 Discuz! 官方交流社區(qū) (http://r615.cn/)