自動外鏈工具 在線排版工具 搜索引擎提交入口 wordpress主題推薦 批量打開網址工具 【老域名購買】 思享SEO導航 【網站合作】

怎么找免費代理IP

837

由于開python培訓有講過爬蟲的緣故,這個問題已經被ask無數次了,一般問的基友也都是爬蟲防ban用的,那么在此,我把我個人嘗試過的代理渠道都寫一下。總體來講,質量好的都不便宜,便宜的質量都比較渣,一分錢一分貨

1)通過程序掃出來的代理

通過程序掃IP段、端口找出來的臨時性代理。

諸如百度搜索“HTTP代理”,寫著“每日更新”、“國內高匿免費”什么的都是這類,購買的話都很廉價。我用過的有:

西刺(免費代理IP_HTTP代理服務器IP_隱藏IP_QQ代理)

快代理(快代理 - 高速http代理ip每天更新)

站大爺

云代理(云代理 - 高速http代理ip每天更新)

......

基本都大同小異,沒有哪個好那個壞,幾個平臺提供的代理至少有3成的重復率。

這類代理,有效期都不高,即便批量驗證過在使用時還是會廢掉一部分,可以應付低效率的采集、刷單次訪問量,但是搞別的的還是算了吧

2)ADSL撥號服務器

ADSL撥號,斷線重連切IP,淘寶有賣的,限定地區撥號、全國撥號都有。相對較穩定,至少比掃描出來的強很多,但切換IP耗時較長,需要幾秒到1分鐘之間。

所以如果采集是每訪問一次切一次IP的話,效率會很慢,只能等當前IP被對方ban掉的時候在撥號換新的IP。

去年刷百度下拉、搞百度點擊器的代理切換曾用過ADSL撥號,比較穩定,有些效果,當然也用過上面掃出來的代理,太爛,沒法用。但是限于換IP需要斷線重連,導致不容易并發執行任務,所以要大規模化要有些成本。

ADSL撥號可以應付對效率要求不高的采集、刷訪問量、刷點擊之類的。

3)第三方訪問

比如通過“谷歌網頁翻譯”、“有道網頁翻譯”、“http代理瀏覽器”等第三方訪問渠道請求目標網頁。

速度慢,且采集捕獲目標內容的時候多了很多干擾。

4)VPN軟件

諸如“flyvpn”、“green vpn”,采集是IP被ban了直接換一個,VPN軟件本身靠譜代理還是挺穩定的,就是人得在電腦旁邊,手動換一次。但是偶爾查查幾萬關鍵詞的百度排名、幾萬頁面收錄,用VPN還是挺悠閑的,這點量級總共也換不了多少次。

5)自建代理

買一臺服務器,利用squid+stunnel搭建一臺HTTP高匿代理服務器,Tinyproxy也行。squit用來實現http代理,stunnel在代理的基礎上建一條隧道實現加密。

如果覺得ip數量少,就多買幾臺服務器,依次配置squid~~

由于是自建代理,都是獨享且是真實的IP,所有相當穩定。采集、搶購、刷票、刷點擊、刷主播人氣什么的都可以干,只有有錢上機子就行~~

去年接了一個爬蟲單子,抓國外某股票網站,共千萬頁面量級,反爬蟲做的挺惡心,無奈買了20臺低配機子做HTTP代理服務器,一個月5000成本~~

5)自建代理服務商

如果上面方法自己懶得搞,也沒有關系。找個做類似服務的商家,開個api端口即可。

國外的有:

Crawlera (?Web Crawling Platform & Data as a Service?)

......

國內的有:

阿步云(阿布云代理 - 最專業、最穩定、IP最豐富的高匿名HTTP代理IP提供商)

鯤鵬代理(IPRENT - 國內最專業穩定高匿獨享HTTP代理解決方案提供商)

瀚云代理(瀚云代理 – http代理ip)

......

Crawlera和阿步云都用過,除了貴都挺好的,另外在請求頻率和并發數上有限制。沒辦法,要一個ip共享給10個人,每個人并發100,費用又不漲,他們那邊得賠死,光帶寬費就海里去了。

 

來源:本文由思享SEO博客原創撰寫,歡迎分享本文,轉載請保留出處和鏈接!
seo培訓評論廣告

搶沙發

昵稱*

郵箱*

網址

七乐彩选号技巧