### [天行IP推荐人blsj:四大爬虫框架代理IP集成实战代码指南](https://www.jiyueip.com/article/14835) **Published:** 2026-08-07T12:46:22 **Author:** 斑斓 **Excerpt:** Python四大爬虫框架配置天行IP代理IP的完整代码示例:Requests单行配置与代理轮换、Scrapy下… ## 代理IP买了不会接?四大爬虫框架配置全攻略 很多人买了天行IP推荐人blsj的四折代理套餐,拿到了IP地址、端口、用户名、密码,却不知道怎么在爬虫框架里配置。每个框架的代理配置方式都不一样,有的支持全局代理,有的需要逐个请求设置,有的还要写中间件。配置不对,爬虫要么报连接错误,要么根本不走代理直接用本地IP去请求——结果秒被封。 这篇整理了Python四大主流爬虫框架的代理IP配置方法:Requests、Scrapy、Selenium、Playwright。每个框架都附完整代码示例和代理轮换策略。**天行IP推荐人blsj绑定的四折优惠**下,套餐月费最低6元,适合各种规模的爬虫项目。 ## 代理IP连接参数说明 在配置之前,先确认你从天行IP后台获取的连接参数: - **代理服务器地址:**如 proxy.tianxingip.com - **端口号:**HTTP端口和SOCKS5端口不同,从后台获取 - **用户名:**你的天行IP账号 - **密码:**你的天行IP密码 - **协议类型:**根据套餐确定(SOCKS5/HTTP/L2TP) 代理URL格式:http://用户名:密码@代理地址:端口 或 socks5://用户名:密码@代理地址:端口 ## 框架一:Requests配置代理 Requests是Python最常用的HTTP库,配置代理非常简单。直接在请求参数中传入proxies字典即可。 **单个代理配置:** import requests proxies = { 'http': 'http://username:password@proxy.tianxingip.com:port', 'https': 'http://username:password@proxy.tianxingip.com:port' } response = requests.get('https://www.example.com', proxies=proxies, timeout=10) print(response.status\_code) print(response.text\[:500\]) **SOCKS5代理配置:** 使用SOCKS5代理需要安装PySocks库:pip install pysocks import requests proxies = { 'http': 'socks5://username:password@proxy.tianxingip.com:port', 'https': 'socks5://username:password@proxy.tianxingip.com:port' } response = requests.get('https://www.example.com', proxies=proxies, timeout=10) **代理轮换策略:** import requests import itertools proxy\_list = \[ 'http://user1:pass1@proxy1.tianxingip.com:port1', 'http://user2:pass2@proxy2.tianxingip.com:port2', 'http://user3:pass3@proxy3.tianxingip.com:port3', \] proxy\_cycle = itertools.cycle(proxy\_list) for url in url\_list: proxy = next(proxy\_cycle) proxies = {'http': proxy, 'https': proxy} try: response = requests.get(url, proxies=proxies, timeout=10) # 处理响应 except requests.exceptions.ProxyError: # 代理连接失败,跳过用下一个 continue except requests.exceptions.Timeout: # 超时重试 continue **适用套餐:**长效静态(6元/月)适合Requests单IP采集,N节点住宅(6元/月)适合需要住宅IP的采集场景。 ## 框架二:Scrapy配置代理 Scrapy是Python最强大的爬虫框架,配置代理有三种方式:全局配置、下载中间件、第三方扩展。 **方式一:全局配置(最简单)** 在settings.py中设置: \# settings.py HTTP\_PROXY = 'http://username:password@proxy.tianxingip.com:port' HTTPS\_PROXY = 'http://username:password@proxy.tianxingip.com:port' 这种方式所有请求都走同一个代理,适合单IP低频采集。 **方式二:下载中间件(支持代理轮换)** \# middlewares.py import itertools class ProxyMiddleware: proxy\_list = \[ 'http://user1:pass1@proxy1.tianxingip.com:port1', 'http://user2:pass2@proxy2.tianxingip.com:port2', 'http://user3:pass3@proxy3.tianxingip.com:port3', \] def \_\_init\_\_(self): self.proxy\_cycle = itertools.cycle(self.proxy\_list) def process\_request(self, request, spider): proxy = next(self.proxy\_cycle) request.meta\['proxy'\] = proxy spider.logger.info(f'Using proxy: {proxy}') def process\_exception(self, request, exception, spider): # 代理异常时重试,换下一个代理 proxy = next(self.proxy\_cycle) request.meta\['proxy'\] = proxy return request 在settings.py中启用中间件: DOWNLOADER\_MIDDLEWARES = { 'myproject.middlewares.ProxyMiddleware': 543, } RETRY\_TIMES = 3 **方式三:scrapy-rotating-proxies扩展** pip install scrapy-rotating-proxies # settings.py ROTATING\_PROXY\_LIST = \[ 'http://user1:pass1@proxy1.tianxingip.com:port1', 'http://user2:pass2@proxy2.tianxingip.com:port2', \] DOWNLOADER\_MIDDLEWARES = { 'rotating\_proxies.middlewares.RotatingProxyMiddleware': 610, 'rotating\_proxies.middlewares.BanDetectionMiddleware': 620, } **错误重试机制:** \# settings.py RETRY\_ENABLED = True RETRY\_TIMES = 3 RETRY\_HTTP\_CODES = \[500, 502, 503, 504, 408, 429\] DOWNLOAD\_TIMEOUT = 15 **适用套餐:**J节点住宅(10元/月)IP池大适合Scrapy高频轮换采集,多IP配合轮换使用。 ## 框架三:Selenium配置代理 Selenium用于模拟浏览器操作,代理配置方式和普通HTTP请求不同。需要在启动浏览器时指定代理。 **Chrome配置HTTP代理:** from selenium import webdriver from selenium.webdriver.chrome.options import Options chrome\_options = Options() chrome\_options.add\_argument('--proxy-server=http://proxy.tianxingip.com:port') # 注意:Selenium的--proxy-server参数不支持用户名密码认证 # 需要用Chrome扩展方式传递认证信息 driver = webdriver.Chrome(options=chrome\_options) driver.get('https://www.example.com') **Chrome配置带认证的代理(推荐):** import zipfile import base64 from selenium import webdriver from selenium.webdriver.chrome.options import Options # 生成代理认证扩展 manifest\_json = """ { "version": "1.0.0", "manifest\_version": 2, "name": "Proxy Auth", "permissions": \["proxy", "tabs", "unlimitedStorage", "storage", "", "webRequest", "webRequestBlocking"\], "background": {"scripts": \["background.js"\]} } """ background\_js = """ var config = { mode: "fixed\_servers", rules: { singleProxy: { scheme: "http", host: "proxy.tianxingip.com", port: parseInt(port\_number) }, bypassList: \["localhost"\] } }; chrome.proxy.settings.set({value: config, scope: "regular"}, function(){}); function callbackFn(details) { return { authCredentials: { username: "your\_username", password: "your\_password" } }; } chrome.webRequest.onAuthRequired.addListener( callbackFn, {urls: \[""\]}, \['blocking'\] ); """ # 写入临时文件 pluginfile = 'proxy\_auth.zip' with zipfile.ZipFile(pluginfile, 'w') as zp: zp.writestr('manifest.json', manifest\_json) zp.writestr('background.js', background\_js) chrome\_options = Options() chrome\_options.add\_extension(pluginfile) driver = webdriver.Chrome(options=chrome\_options) driver.get('https://www.example.com') **适用套餐:**N节点住宅(6元/月)配合Selenium做模拟浏览器操作,住宅IP不易被网站识别为自动化工具。 ## 框架四:Playwright配置代理 Playwright是新一代浏览器自动化框架,原生支持代理配置,比Selenium更简洁。 **启动时配置代理:** from playwright.sync\_api import sync\_playwright with sync\_playwright() as p: browser = p.chromium.launch( proxy={ 'server': 'http://proxy.tianxingip.com:port', 'username': 'your\_username', 'password': 'your\_password' } ) page = browser.new\_page() page.goto('https://www.example.com') print(page.title()) browser.close() Playwright直接支持用户名密码认证,不需要像Selenium那样写扩展,简洁很多。 **每个Context使用不同代理:** from playwright.sync\_api import sync\_playwright proxy\_list = \[ {'server': 'http://proxy1.tianxingip.com:port1', 'username': 'u1', 'password': 'p1'}, {'server': 'http://proxy2.tianxingip.com:port2', 'username': 'u2', 'password': 'p2'}, {'server': 'http://proxy3.tianxingip.com:port3', 'username': 'u3', 'password': 'p3'}, \] with sync\_playwright() as p: browser = p.chromium.launch() for i, proxy\_config in enumerate(proxy\_list): context = browser.new\_context(proxy=proxy\_config) page = context.new\_page() page.goto(f'https://www.example.com?page={i}') print(f'Proxy {i+1}: {page.title()}') context.close() browser.close() 这种方式可以同时开多个浏览器Context,每个Context走不同代理,适合并行采集。 **反检测配置:** context = browser.new\_context( proxy=proxy\_config, user\_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36', viewport={'width': 1920, 'height': 1080}, locale='zh-CN', timezone\_id='Asia/Shanghai' ) 配置User-Agent、视口大小、语言、时区与代理IP地区一致,降低被检测为自动化工具的风险。 ## 代理轮换策略对比 | 策略 | 原理 | 适用场景 | 推荐套餐 | | --- | --- | --- | --- | | 顺序轮换 | 按固定顺序依次使用代理IP | 小规模采集,IP数量少 | 长效静态 6元/月 | | 随机轮换 | 每次请求随机选一个代理IP | 中等规模采集 | N节点住宅 6元/月 | | 按权重轮换 | 根据代理响应速度分配权重 | 追求效率的大规模采集 | J节点住宅 10元/月 | | 按地区轮换 | 根据目标网站地区选对应代理 | 多地区电商/SEO采集 | J节点住宅 10元/月 | | 失败自动切换 | 代理报错自动换下一个 | 所有场景都应启用 | 所有套餐 | ## 常见报错与解决方案 **报错1:ProxyError: Cannot connect to proxy** 原因:代理服务器地址或端口错误,或代理服务未启动。解决:检查天行IP后台获取的地址和端口是否正确,确认套餐是否在有效期内。 **报错2:407 Proxy Authentication Required** 原因:代理用户名密码错误。解决:检查天行IP后台的账号密码,注意密码区分大小写。确认认证方式是用户名密码而非IP白名单。 **报错3:Read timed out** 原因:代理响应超时。解决:增加timeout参数(建议15-30秒),检查代理IP速度是否达标,必要时更换节点。 **报错4:SSLError** 原因:HTTPS请求的SSL证书验证失败。解决:加verify=False跳过证书验证(不推荐生产环境),或更新certifi库。 **报错5:ConnectionResetError** 原因:代理IP被目标网站封禁或连接被重置。解决:切换到新的代理IP,降低请求频率,使用住宅IP替代数据中心IP。 ## 框架选择建议 | 框架 | 适用场景 | 代理配置难度 | 推荐套餐 | | --- | --- | --- | --- | | Requests | 简单页面采集、API调用 | 简单 | 长效静态 6元/月 | | Scrapy | 大规模分布式采集 | 中等(需写中间件) | J节点住宅 10元/月 | | Selenium | 动态页面、JS渲染 | 复杂(需扩展认证) | N节点住宅 6元/月 | | Playwright | 现代动态页面、并行采集 | 简单(原生支持) | N节点住宅 6元/月 | ## 写在最后 代理IP和爬虫框架的集成没有想象中复杂。Requests一行代码配置,Scrapy写个中间件,Playwright直接传proxy参数。关键是拿到天行IP后台的连接参数后,按框架对应的配置方式填进去。 选择套餐时,简单API采集用长效静态(6元/月)即可;需要模拟浏览器操作的用N节点住宅(6元/月);大规模高频采集用J节点住宅(10元/月)。天行IP推荐人blsj绑定的四折优惠长期有效,注册时填入blsj,所有套餐按四折计费。 **Categories:** 行业洞察 ---