在做網(wǎng)站優(yōu)化時，Robots.txt 常常被忽略。但對 WordPress 網(wǎng)站來說，這個小文件就像守門員，決定搜索引擎能看到哪些內(nèi)容。如果配置得當(dāng)，文章、產(chǎn)品頁面會更快被收錄；如果配置錯誤，甚至可能讓整個站點消失在搜索結(jié)果里。

什么是 Robots.txt？

Robots.txt 是一個放在網(wǎng)站根目錄下的文本文件。搜索引擎的蜘蛛在進入網(wǎng)站前，會先查看這個文件，然后根據(jù)里面的規(guī)則決定能不能訪問某些目錄。它并不會刪除頁面，而是告訴搜索引擎“要看什么，不要看什么”。

舉個例子：

• 你想讓文章和分類頁被收錄，就要開放它們。
• 你不希望后臺或插件文件被抓取，就可以禁止訪問。

WordPress 默認情況

安裝 WordPress 后，如果沒有手動添加 Robots.txt，搜索引擎會嘗試抓取所有內(nèi)容。這樣雖然不會影響基本收錄，但問題是：

• 會浪費抓取資源在無用的文件上。
• 一些后臺或插件路徑可能被收錄，沒有意義。
• 標(biāo)簽頁等重復(fù)頁面會占用索引空間，影響主內(nèi)容的權(quán)重。

所以，合理配置很有必要。

為什么需要配置 Robots.txt？

• 節(jié)省資源：搜索引擎不會浪費時間抓取無關(guān)頁面。
• 突出重點：文章頁、分類頁、產(chǎn)品頁更容易被關(guān)注。
• 保護隱私：避免后臺和系統(tǒng)文件暴露。
• 提高收錄速度：配合 Sitemap，能更快讓新內(nèi)容出現(xiàn)。

常見的 WordPress Robots.txt 示例

下面是一個常見的基礎(chǔ)配置：

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /readme.html
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.example.com/sitemap_index.xml

規(guī)則說明

• User-agent: *：代表對所有搜索引擎生效。
• Disallow：禁止訪問的目錄。
• Allow：允許訪問的文件。
• Sitemap：告訴搜索引擎網(wǎng)站地圖的位置。

不同類型網(wǎng)站的配置重點

1. 博客網(wǎng)站

重點在文章和分類目錄，標(biāo)簽頁可以屏蔽：

Disallow: /tag/

2. 電商網(wǎng)站

應(yīng)保護好商品和分類頁面，屏蔽購物車等：

Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/

3. 企業(yè)展示網(wǎng)站

內(nèi)容較少，可以只屏蔽后臺和系統(tǒng)文件，保持簡單即可。

Sitemap 的作用

在 Robots.txt 文件里加入 Sitemap 地址，可以讓搜索引擎更快找到網(wǎng)站重要頁面。比如：

Sitemap: https://www.example.com/sitemap.xml

這樣文章、分類、產(chǎn)品頁都會被優(yōu)先抓取。

常見錯誤

• 屏蔽過多目錄：誤把 /wp-content/ 整個目錄屏蔽，圖片無法收錄。
• 忘記添加 Sitemap：導(dǎo)致新內(nèi)容收錄慢。
• 路徑寫錯：WordPress 區(qū)分大小寫，輸入要正確。
• 未更新：新增插件或改版后要及時檢查。

如何檢查 Robots.txt 是否有效？

打開瀏覽器，在地址欄輸入：

https://你的域名/robots.txt

能正常顯示說明文件已生效。你也可以在 Google Search Console 里測試抓取規(guī)則，看是否有問題。

使用 SEO 插件設(shè)置（推薦新手）

最方便的方法是用 WordPress 的 SEO 插件，比如：

• Rank Math SEO
• Yoast SEO

這類插件自帶 Robots.txt 編輯功能，不用登錄服務(wù)器。

操作步驟（以 Rank Math 為例）：

• 登錄 WordPress 后臺 → Rank Math → 常規(guī)設(shè)置 → 編輯 robots.txt

• 在編輯框里輸入規(guī)則（比如前面所說的示例）。
• 保存設(shè)置，文件就會自動生成并生效。

總結(jié)

Robots.txt 看似簡單，卻直接關(guān)系到 WordPress 網(wǎng)站的收錄情況。一個合理的配置，能讓搜索引擎快速找到有價值的內(nèi)容，減少無效抓取。

聯(lián)系我們
教程看不懂？聯(lián)系我們?yōu)槟赓M解答！免費助力個人，小企站點！	客服微信
① 電話：020-2206-9892
② QQ咨詢：1025174874
③ 郵件：info@361sale.com
④ 工作時間：周一至周五，9:30-18:30，節(jié)假日休息