在網(wǎng)站 SEO 優(yōu)化中,定期進(jìn)行技術(shù)審查(Site Audit)是保持網(wǎng)站健康度的重要步驟。很多站長(zhǎng)希望 Site Audit 只抓取 Sitemap 中的頁(yè)面,以保證分析范圍精準(zhǔn),避免爬取無(wú)關(guān)頁(yè)面。本文將詳細(xì)介紹在 Ahrefs Site Audit 中設(shè)置爬取范圍,讓其只抓取 Sitemap 中的 URL,涵蓋新項(xiàng)目和現(xiàn)有項(xiàng)目?jī)煞N情況。
![圖片[1]-Ahrefs Site Audit 爆款教程:只抓取 Sitemap 頁(yè)面的方法全解析](http://gqxi.cn/wp-content/uploads/2025/09/20250904101933593-image.png)
一、新項(xiàng)目中設(shè)置只抓取 Sitemap
Step 1:創(chuàng)建新項(xiàng)目并配置 URL 來(lái)源
- 創(chuàng)建一個(gè)新項(xiàng)目,在 Scope 和 Ownership 部分填寫相關(guān)信息。
- 進(jìn)入 Site Audit,找到 URL Sources 標(biāo)簽頁(yè)。
- 僅勾選 Specific sitemaps 選項(xiàng)。
- 在下方的輸入框中填入 Sitemap 的 URL(可同時(shí)輸入多個(gè) Sitemap 地址)。
![圖片[2]-Ahrefs Site Audit 爆款教程:只抓取 Sitemap 頁(yè)面的方法全解析](http://gqxi.cn/wp-content/uploads/2025/09/20250904102034345-image.png)
必須保證除了 Specific sitemaps 之外,其他選項(xiàng)均保持未勾選狀態(tài),這樣爬蟲才會(huì)從指定的 Sitemap 開始抓取頁(yè)面。
Step 2:設(shè)置抓取深度
- 進(jìn)入下一步 Crawl settings。
- 找到 Max depth level from the seed,并將其設(shè)置為 0。
![圖片[3]-Ahrefs Site Audit 爆款教程:只抓取 Sitemap 頁(yè)面的方法全解析](http://gqxi.cn/wp-content/uploads/2025/09/20250904102049883-image.png)
此設(shè)置會(huì)告訴爬蟲:不要抓取超出 Sitemap 所包含的頁(yè)面,僅限于 Sitemap 內(nèi)的 URL。
Step 3:完成項(xiàng)目配置并開始抓取
- 點(diǎn)擊 Continue,完成新項(xiàng)目的其他配置。
- 等待爬蟲運(yùn)行完成后,在 Crawl log 中可以看到抓取結(jié)果。
需要注意的是:
- Known URLs(已知 URL)通常會(huì)比 Crawled URLs(已抓取 URL)數(shù)量更多,這是正?,F(xiàn)象。
- 已抓取的頁(yè)面僅限于項(xiàng)目范圍,而已知 URL 則包含被舍棄的鏈接。
![圖片[4]-Ahrefs Site Audit 爆款教程:只抓取 Sitemap 頁(yè)面的方法全解析](http://gqxi.cn/wp-content/uploads/2025/09/20250904102106370-image.png)
若想確認(rèn)爬蟲只抓取了 Sitemap 中的頁(yè)面,可進(jìn)入 Page explorer,將篩選條件設(shè)置為 Is in sitemap = Yes,頁(yè)面數(shù)量應(yīng)等于已抓取的頁(yè)面數(shù)。
![圖片[5]-Ahrefs Site Audit 爆款教程:只抓取 Sitemap 頁(yè)面的方法全解析](http://gqxi.cn/wp-content/uploads/2025/09/20250904102129721-image.png)
二、在現(xiàn)有項(xiàng)目中修改為只抓取 Sitemap
有時(shí)項(xiàng)目已存在,但需要修改范圍為僅限 Sitemap。這種情況下要特別注意:更改抓取范圍會(huì)影響 Site Audit 的整體指標(biāo)。若希望保留原始數(shù)據(jù),可以刪除現(xiàn)有項(xiàng)目并重新創(chuàng)建。
Step 1:進(jìn)入現(xiàn)有項(xiàng)目設(shè)置
- 打開 Site Audit dashboard。
- 點(diǎn)擊項(xiàng)目旁的 豎向省略號(hào)(三點(diǎn)按鈕),選擇 Settings。
![圖片[6]-Ahrefs Site Audit 爆款教程:只抓取 Sitemap 頁(yè)面的方法全解析](http://gqxi.cn/wp-content/uploads/2025/09/20250904102211112-image.png)
- 在右側(cè)面板點(diǎn)擊 Site Audit,進(jìn)入 Site Audit 設(shè)置界面。
- 重復(fù)新項(xiàng)目的步驟:在 URL Sources 中僅勾選 Specific sitemaps,并輸入 Sitemap URL。
![圖片[7]-Ahrefs Site Audit 爆款教程:只抓取 Sitemap 頁(yè)面的方法全解析](http://gqxi.cn/wp-content/uploads/2025/09/20250904102224226-image.png)
Step 2:運(yùn)行新一輪抓取
- 回到 Site Audit 頁(yè)面,點(diǎn)擊項(xiàng)目。
- 點(diǎn)擊 New crawl 按鈕,讓 Ahrefs 重新爬取網(wǎng)站。
- 爬蟲完成后,即可在 Crawl log 中查看更新后的結(jié)果。
![圖片[8]-Ahrefs Site Audit 爆款教程:只抓取 Sitemap 頁(yè)面的方法全解析](http://gqxi.cn/wp-content/uploads/2025/09/20250904102237816-image.png)
三、總結(jié)
在 Ahrefs Site Audit 中,如果想讓爬蟲只抓取 Sitemap 內(nèi)的頁(yè)面,需要完成以下兩步:
- 在 URL Sources 中僅勾選 Specific sitemaps,輸入 Sitemap 地址;
- 在 Crawl settings 中,將 Max depth level from the seed 設(shè)置為 0。
對(duì)于新項(xiàng)目,可在創(chuàng)建流程中設(shè)置;在現(xiàn)有項(xiàng)目中,需要進(jìn)入設(shè)置頁(yè)面并運(yùn)行新的抓取。完成后,可以在 Page explorer 中篩選 Is in sitemap = Yes,確認(rèn)頁(yè)面數(shù)量與抓取結(jié)果一致。
這種方法能夠幫助 SEO 人員更精準(zhǔn)地監(jiān)控核心頁(yè)面的健康度,避免分散數(shù)據(jù),也能節(jié)省爬蟲資源和分析時(shí)間。
聯(lián)系我們 | |
---|---|
教程看不懂?聯(lián)系我們?yōu)槟赓M(fèi)解答!免費(fèi)助力個(gè)人,小企站點(diǎn)! |
![]() 客服微信
|
① 電話:020-2206-9892 | |
② QQ咨詢:1025174874 | |
③ 郵件:info@361sale.com | |
④ 工作時(shí)間:周一至周五,9:30-18:30,節(jié)假日休息 |
暫無(wú)評(píng)論內(nèi)容