自動外鏈工具 在線排版工具 搜索引擎提交入口 wordpress主題推薦 批量打開網址工具 【老域名購買】 思享SEO導航 【網站合作】

百度蜘蛛的referrer是什么意思

1065
文章目錄
  1. 舉例
  2. 結束語

百度蜘蛛的referrer,是指當百度蜘蛛訪問網站某一個URL的時候,在HTTP頭中標識的referrer字段。請注意,這個定義和百度最近聲明去除referrer中關鍵詞數據沒有任何關系。

舉個例子,蜘蛛在抓取 http://zhanzhang.baidu.com/site/index/ 的時候,可能會告訴你他是從 http://zhanzhang.baidu.com/ 過來的,如圖所示:

referrer

對于站長的意義

如果你關心百度從哪個頁面上發現了當前這個URL的話(可以理解為抓取軌跡),那么這個字段是唯一的參考依據。如果你發現有一批URL報錯(4xx或者5xx),但是一直找不到入口在哪,也就是說你不明白百度蜘蛛是從哪里發現這些錯誤URL的。這個字段可以幫助你迅速定位。

舉例

比如我們的SEO日志分析系統中可以看到,符合下面這種URL Pattern的路徑每天有6萬到10萬的抓取而且全部報404。

全部報404

從發現問題至今過了1個月,查遍整個網站我也沒找到入口。今天偶然仔細查了一下日志,想起了百度蜘蛛的referrer,馬上就能定位問題了。這些404的URL來自于一套沒人維護也沒人關注的頁面(往往是這樣)。收錄流量都不錯。由于最近公司圖片系統更新,圖片的URL全部更改了,但這套頁面并沒有跟著更新。

結束語

很多SEO問題并不是立即致命的,所以沒有及時解決,流量就像螞蟻啃大象一樣一點一點啃掉了。

系統性的知識積累還是會在關鍵時刻發揮作用的。

本文由 劉明 原著

來源:本文由思享SEO博客原創撰寫,歡迎分享本文,轉載請保留出處和鏈接!
seo培訓評論廣告

搶沙發

昵稱*

郵箱*

網址

七乐彩选号技巧