請(qǐng)問(wèn)Discuz系統(tǒng)默認(rèn)的robots.txt會(huì)屏蔽Google抓取嗎？

品質(zhì)

robots.txt, 使用的是系統(tǒng)默認(rèn)的內(nèi)容 ，未曾調(diào)整過(guò)，但是通過(guò)Google搜索，會(huì)出現(xiàn)如下提示，請(qǐng)問(wèn)這是怎么回事呢？謝謝！




系統(tǒng)自帶的robots.txt如下：

1. #
   
2. # robots.txt for Discuz! X3
   
3. #
   
4. 
   
5. User-agent: *
   
6. Allow: /data/attachment/
   
7. Allow: /data/cache/
   
8. Allow: /uc_server/data/avatar/
   
9. Disallow: /api/
   
10. Disallow: /data/
    
11. Disallow: /source/
    
12. Disallow: /install/
    
13. Disallow: /template/default/
    
14. Disallow: /config/
    
15. Disallow: /uc_client/
    
16. Disallow: /uc_server/
    
17. Disallow: /admin.php
    
18. Disallow: /search.php
    
19. Disallow: /member.php
    
20. Disallow: /api.php
    
21. Disallow: /misc.php
    
22. Disallow: /connect.php
    
23. Disallow: /forum.php?mod=redirect*
    
24. Disallow: /forum.php?mod=post*
    
25. Disallow: /home.php?mod=spacecp*
    
26. Disallow: /*?mod=misc*
    
27. Disallow: /*?mod=attachment*
    
28. Disallow: /*mobile=yes*

復(fù)制代碼

1 貢獻(xiàn)

最佳答案

不會(huì)

• Discuz有償服務(wù)
• 發(fā)表于2023-6-19 23:24:29
• 詳細(xì)答案 >

耗子

會(huì)的

品質(zhì)

耗子 發(fā)表于 2023-6-18 10:57
會(huì)的

謝謝回復(fù)！請(qǐng)問(wèn)怎么調(diào)整呢？

Discuz有償服務(wù)

不會(huì)

湖中沉

耗子 發(fā)表于 2023-6-18 10:57
會(huì)的

會(huì)在哪里？你說(shuō)說(shuō)看……

很明顯默認(rèn)robots.txt完全沒(méi)有對(duì)GG搜索單獨(dú)的屏蔽條目啊……

crx349

robots.txt
默認(rèn)不會(huì)屏蔽搜索引擎 搜索不到只能說(shuō)明 google搜索引擎沒(méi)收錄你站內(nèi)容哦

耗子

Discuz有償服務(wù) 發(fā)表于 2023-6-19 23:24
不會(huì)

他遞交robots.txt  里面包含 Disallow  這個(gè)難道 不會(huì)屏蔽google抓取 這里定義的一些目錄嗎？

Discuz有償服務(wù)

耗子 發(fā)表于 2023-6-23 14:01
他遞交robots.txt  里面包含 Disallow  這個(gè)難道 不會(huì)屏蔽google抓取 這里定義的一些目錄嗎？ ...

那些圖片附件、頭像、后臺(tái)地址等內(nèi)容不需要被收錄，不影響帖子等正常頁(yè)面收錄，而且這個(gè)也不是針對(duì)google的，有問(wèn)題的話(huà)所有搜索引擎都一樣

卡卡北

User-agent: * 意思是允許所有種類(lèi)的用戶(hù)訪(fǎng)問(wèn)，它后面的Allow:和Disallow: 意思是，雖然我允許所有用戶(hù)訪(fǎng)問(wèn)，但我還是給出一定的條件，用以下實(shí)例來(lái)解說(shuō)：
Disallow: /data/ 意思是你不可以訪(fǎng)問(wèn)/data/這個(gè)文件夾，但又有一句Allow: /data/attachment/ 意思是雖然我前面說(shuō)你不可以訪(fǎng)問(wèn)/data/這個(gè)文件夾，但是可以直接訪(fǎng)問(wèn)/data/attachment/這個(gè)文件夾，意思是/data/文件夾下除/attachment/之外，別的文件夾不能訪(fǎng)問(wèn)。