想讓爬蟲乖乖聽話?Ahrefs Site Audit Sitemap 終極指南

在網(wǎng)站 SEO 優(yōu)化中,定期進(jìn)行技術(shù)審查(Site Audit)是保持網(wǎng)站健康度的重要步驟。很多站長(zhǎng)希望 Site Audit 只抓取 Sitemap 中的頁(yè)面,以保證分析范圍精準(zhǔn),避免爬取無(wú)關(guān)頁(yè)面。本文將詳細(xì)介紹在 Ahrefs Site Audit 中設(shè)置爬取范圍,讓其只抓取 Sitemap 中的 URL,涵蓋新項(xiàng)目和現(xiàn)有項(xiàng)目?jī)煞N情況。

圖片[1]-Ahrefs Site Audit 爆款教程:只抓取 Sitemap 頁(yè)面的方法全解析

一、新項(xiàng)目中設(shè)置只抓取 Sitemap

Step 1:創(chuàng)建新項(xiàng)目并配置 URL 來(lái)源

  • 創(chuàng)建一個(gè)新項(xiàng)目,在 ScopeOwnership 部分填寫相關(guān)信息。
  • 進(jìn)入 Site Audit,找到 URL Sources 標(biāo)簽頁(yè)。
  • 僅勾選 Specific sitemaps 選項(xiàng)。
  • 在下方的輸入框中填入 Sitemap 的 URL(可同時(shí)輸入多個(gè) Sitemap 地址)。
圖片[2]-Ahrefs Site Audit 爆款教程:只抓取 Sitemap 頁(yè)面的方法全解析

必須保證除了 Specific sitemaps 之外,其他選項(xiàng)均保持未勾選狀態(tài),這樣爬蟲才會(huì)從指定的 Sitemap 開始抓取頁(yè)面。

Step 2:設(shè)置抓取深度

  1. 進(jìn)入下一步 Crawl settings。
  2. 找到 Max depth level from the seed,并將其設(shè)置為 0。
圖片[3]-Ahrefs Site Audit 爆款教程:只抓取 Sitemap 頁(yè)面的方法全解析

此設(shè)置會(huì)告訴爬蟲:不要抓取超出 Sitemap 所包含的頁(yè)面,僅限于 Sitemap 內(nèi)的 URL。

Step 3:完成項(xiàng)目配置并開始抓取

  1. 點(diǎn)擊 Continue,完成新項(xiàng)目的其他配置。
  2. 等待爬蟲運(yùn)行完成后,在 Crawl log 中可以看到抓取結(jié)果。

需要注意的是:

  • Known URLs(已知 URL)通常會(huì)比 Crawled URLs(已抓取 URL)數(shù)量更多,這是正?,F(xiàn)象。
  • 已抓取的頁(yè)面僅限于項(xiàng)目范圍,而已知 URL 則包含被舍棄的鏈接。
圖片[4]-Ahrefs Site Audit 爆款教程:只抓取 Sitemap 頁(yè)面的方法全解析

若想確認(rèn)爬蟲只抓取了 Sitemap 中的頁(yè)面,可進(jìn)入 Page explorer,將篩選條件設(shè)置為 Is in sitemap = Yes,頁(yè)面數(shù)量應(yīng)等于已抓取的頁(yè)面數(shù)。

圖片[5]-Ahrefs Site Audit 爆款教程:只抓取 Sitemap 頁(yè)面的方法全解析

二、在現(xiàn)有項(xiàng)目中修改為只抓取 Sitemap

有時(shí)項(xiàng)目已存在,但需要修改范圍為僅限 Sitemap。這種情況下要特別注意:更改抓取范圍會(huì)影響 Site Audit 的整體指標(biāo)。若希望保留原始數(shù)據(jù),可以刪除現(xiàn)有項(xiàng)目并重新創(chuàng)建。

Step 1:進(jìn)入現(xiàn)有項(xiàng)目設(shè)置

  • 打開 Site Audit dashboard。
  • 點(diǎn)擊項(xiàng)目旁的 豎向省略號(hào)(三點(diǎn)按鈕),選擇 Settings。
圖片[6]-Ahrefs Site Audit 爆款教程:只抓取 Sitemap 頁(yè)面的方法全解析
  • 在右側(cè)面板點(diǎn)擊 Site Audit,進(jìn)入 Site Audit 設(shè)置界面。
  • 重復(fù)新項(xiàng)目的步驟:在 URL Sources 中僅勾選 Specific sitemaps,并輸入 Sitemap URL。
圖片[7]-Ahrefs Site Audit 爆款教程:只抓取 Sitemap 頁(yè)面的方法全解析

Step 2:運(yùn)行新一輪抓取

  1. 回到 Site Audit 頁(yè)面,點(diǎn)擊項(xiàng)目。
  2. 點(diǎn)擊 New crawl 按鈕,讓 Ahrefs 重新爬取網(wǎng)站。
  3. 爬蟲完成后,即可在 Crawl log 中查看更新后的結(jié)果。
圖片[8]-Ahrefs Site Audit 爆款教程:只抓取 Sitemap 頁(yè)面的方法全解析

三、總結(jié)

Ahrefs Site Audit 中,如果想讓爬蟲只抓取 Sitemap 內(nèi)的頁(yè)面,需要完成以下兩步:

  • 在 URL Sources 中僅勾選 Specific sitemaps,輸入 Sitemap 地址;
  • 在 Crawl settings 中,將 Max depth level from the seed 設(shè)置為 0。

對(duì)于新項(xiàng)目,可在創(chuàng)建流程中設(shè)置;在現(xiàn)有項(xiàng)目中,需要進(jìn)入設(shè)置頁(yè)面并運(yùn)行新的抓取。完成后,可以在 Page explorer 中篩選 Is in sitemap = Yes,確認(rèn)頁(yè)面數(shù)量與抓取結(jié)果一致。

這種方法能夠幫助 SEO 人員更精準(zhǔn)地監(jiān)控核心頁(yè)面的健康度,避免分散數(shù)據(jù),也能節(jié)省爬蟲資源和分析時(shí)間。


聯(lián)系我們
教程看不懂?聯(lián)系我們?yōu)槟赓M(fèi)解答!免費(fèi)助力個(gè)人,小企站點(diǎn)!
客服微信
客服微信
電話:020-2206-9892
QQ咨詢:1025174874
郵件:info@361sale.com
工作時(shí)間:周一至周五,9:30-18:30,節(jié)假日休息
? 轉(zhuǎn)載聲明
本文作者:賊將鼠膽
THE END
喜歡就支持一下吧
點(diǎn)贊1312 分享
評(píng)論 搶沙發(fā)

請(qǐng)登錄后發(fā)表評(píng)論

    暫無(wú)評(píng)論內(nèi)容