python 爬蟲代理池（再也不用擔心會進小黑屋了）

2023-09-19 03:17:19

為什麼要用代理IP

很多數據網站，對於反爬蟲都做了一定的限制，這個如果寫過一些爬蟲程序的小夥伴應該都深有體會，其實主要還是IP進了小黑屋了，那麼為了安全，就不能使用自己的實際IP去爬取人家網站了，這個時候，就需要採用代理IP去做這些事情……

為什麼要用高匿代理

我們可以對比不同類型的代理的區別，根據代理的匿名程度，代理可以分為如下類別：

高度匿名代理：會將數據包原封不動的轉發，在服務端看來就好像真的是一個普通客戶端在訪問，而記錄的IP則是代理伺服器的IP。普通匿名代理：會在數據包上做一些改動，伺服器上有可能發現這是個代理伺服器，也有一定機率追查到客戶端的真實IP。透明代理：不但改動了數據包，還會告訴伺服器客戶端的真實IP。間諜代理：指組織或個人創建的用戶記錄用戶傳輸的數據，然後進行研究、監控等目的的代理伺服器。運行環境

Python運行環境：Windows python3.6用到的模塊：requests、bs4、json如未安裝的模塊，請使用pip instatll xxxxxx進行安裝，例如：pip install requests

爬取西刺代理IP

這裡，我只大概爬取西刺高匿代理50頁的數據，當然了，爬100頁，爬全部，都是可以的，就不多說了；

def run(self): """執行入口""" page_list = range(1, 51) with open("ip.json", "w") as write_file: for page in page_list: # 分頁爬取數據 print('開始爬取第' str(page) '頁IP數據') ip_url = self.base_url str(page) html = self.get_url_html(ip_url) soup = BeautifulSoup(html, 'html.parser') # IP列表 ip_list = soup.select('#ip_list .odd') for ip_tr in ip_list: # 單條Ip信息 td_list = ip_tr.select('td') ip_address = td_list[1].get_text ip_port = td_list[2].get_text ip_type = td_list[5].get_text info = {'ip': ip_address, 'port': ip_port, 'type': ip_type} # 先校驗一下IP的有效性再存儲 check_res = self.check_ip(info) if check_res: print('IP有效：', info) self.json_data.append(info) else: print('IP無效：', info) json.dump(self.json_data, write_file)複製代碼

檢測代理IP是否有效

爬取到的代理IP可能不能用，為了方便使用的時候，不報太多異常錯誤，所以需要先檢測一下IP是否能正常使用，是否是有效代理IP，我這裡列了三個網站，都可以很方便的檢測IP位址是否能有效使用

icanhazip.com/ 這個網站能直接返回代理的IP位址www.ip.cn/ 查詢到代理的IP位址和位置信息ip.chinaz.com/ 站長工具也能定位到IP位址和位置信息

def check_ip(self, ip_info): """測試IP位址是否有效""" ip_url = ip_info['ip'] ':' str(ip_info['port']) proxies = {'http': 'http://' ip_url, 'https': 'https://' ip_url} res = False try: request = requests.get(url=self.check_url, headers=self.header, proxies=proxies, timeout=3) if request.status_code == 200: res = True except Exception as error_info: res = False return res複製代碼

存儲代理IP

我這裡就不搞那些花裡胡哨的，我直接把所有有效的代理IP的json格式的數據存儲到文件中，當然了，也可以存儲到MongoDB或者MySQL資料庫中，不管怎樣存儲，在使用的時候都是隨機選取一個IP，更加方便快捷。

完整代碼

代碼我已經上傳了GitHub（GitHub源碼地址），但是呢，作為一個熱心的搬瓦工，為了方便部分人想偷懶，不直接去交友網站查看，我在這裡也貼一下源碼出來吧，如果有啥問題，最好還是去交友網站找我，請接碼……

#!/usr/bin/env python# -*- coding: utf-8 -*-"""利用requests bs4爬取國內高匿代理IPauthor: gxcuizydate: 2020-06-19"""import requestsfrom bs4 import BeautifulSoupimport jsonclass GetIpData(object): """爬取50頁國內高匿代理IP""" header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36'} base_url = 'https://www.xicidaili.com/nn/' check_url = 'https://www.ip.cn/' json_data = [] def get_url_html(self, url): """請求頁面html""" request = requests.get(url=url, headers=self.header, timeout=5) html = False if request.status_code == 200: html = request.content return html def check_ip(self, ip_info): """測試IP位址是否有效""" ip_url = ip_info['ip'] ':' str(ip_info['port']) proxies = {'http': 'http://' ip_url, 'https': 'https://' ip_url} res = False try: request = requests.get(url=self.check_url, headers=self.header, proxies=proxies, timeout=3) if request.status_code == 200: res = True except Exception as error_info: res = False return res def run(self): """執行入口""" page_list = range(1, 51) with open("ip.json", "w") as write_file: for page in page_list: # 分頁爬取數據 print('開始爬取第' str(page) '頁IP數據') ip_url = self.base_url str(page) html = self.get_url_html(ip_url) soup = BeautifulSoup(html, 'html.parser') # IP列表 ip_list = soup.select('#ip_list .odd') for ip_tr in ip_list: # 單條Ip信息 td_list = ip_tr.select('td') ip_address = td_list[1].get_text ip_port = td_list[2].get_text ip_type = td_list[5].get_text info = {'ip': ip_address, 'port': ip_port, 'type': ip_type} # 先校驗一下IP的有效性再存儲 check_res = self.check_ip(info) if check_res: print('IP有效：', info) self.json_data.append(info) else: print('IP無效：', info) json.dump(self.json_data, write_file)# 程序主入口if __name__ == '__main__': # 實例化 ip = GetIpData # 執行腳本 ip.run複製代碼

最後，小編想說：我是一名python開發工程師，

整理了一套最新的python系統學習教程，

想要這些資料的可以關注私信小編「01」即可（免費分享哦）希望能對你有所幫助