自動外鏈工具 在線排版工具 搜索引擎提交入口 wordpress主題推薦 批量打開網址工具 【老域名購買】 思享SEO導航 【網站合作】

為什么蜘蛛抓取頻次會暴增?

1428

為什么神秘的spider突然瘋狂造訪?

為什么所謂的spider白名單遲遲不肯公布?究竟這些暴增的spider來自于哪里?

一天小A發現一直正常運轉的服務器突然報警,原因是百度spider對網站展開了一場瘋狂的抓取,警覺的小A自查了網站,并未發生什么異常,于是,小A火急火燎找到百度站長平臺反饋問題,希望將spider加入傳說中的“白名單”,屏蔽其他蜘蛛。

蜘蛛

然而,一切并沒有他預想中的順利,因為百度spider IP的變化時間不確定,即便公布,也可能會因為變化過快,站長設置不及時,反而造成抓取失敗,釀成更糟的后果,所以,除了分析究竟為何暴增,對癥下藥之外并無其他更有效的解決途徑。

而這幕后到底隱藏何種原因?

spider對網站的抓取數量究竟取決于什么?

首先,我們需要探究“決定sipder抓取網站頻次”的原因:

總體來說,百度spider會根據站點規模、歷史上網站每天新產出的鏈接數量、已抓取網頁的綜合質量打分等等,來綜合計算抓取流量,同時兼顧站長在抓取頻次工具里設置的、網站可承受的最大抓取值。

了解了本質原因,我們再來分析造成暴增的幾種可能性:

  1. spider發現站內JS代碼較多,調用大量資源針對JS代碼進行解析抓取;
  2. 百度其他部門(如商業、圖片等)的spider在抓取,但流量沒有控制好;
  3. 已抓取的鏈接,打分不夠好,垃圾過多,導致spider重新抓取;
  4. 站點被攻擊,有人仿冒百度爬蟲(參考:《如何識別Baiduspider》)。

如果想減少蜘蛛抓取頻次,減小服務器壓力。可以通過百度站長平臺抓取頻次工具,進行相關設置

一直困惑的小A終于了解了原因,一顆懸著的心也算落了地。

在此也鄭重提醒各位站長:如果經過排查并非以上四種原因,這里告訴您一個終極解決方案:來百度站長平臺反饋中心反饋,切記附上詳細的抓取日志截圖。

來源:本文由思享SEO博客原創撰寫,歡迎分享本文,轉載請保留出處和鏈接!
seo培訓評論廣告

搶沙發

昵稱*

郵箱*

網址

七乐彩选号技巧