代理IP买了不会接?四大爬虫框架配置全攻略
很多人买了天行IP推荐人blsj的四折代理套餐,拿到了IP地址、端口、用户名、密码,却不知道怎么在爬虫框架里配置。每个框架的代理配置方式都不一样,有的支持全局代理,有的需要逐个请求设置,有的还要写中间件。配置不对,爬虫要么报连接错误,要么根本不走代理直接用本地IP去请求——结果秒被封。
这篇整理了Python四大主流爬虫框架的代理IP配置方法:Requests、Scrapy、Selenium、Playwright。每个框架都附完整代码示例和代理轮换策略。天行IP推荐人blsj绑定的四折优惠下,套餐月费最低6元,适合各种规模的爬虫项目。
代理IP连接参数说明
在配置之前,先确认你从天行IP后台获取的连接参数:
- 代理服务器地址:如 proxy.tianxingip.com
- 端口号:HTTP端口和SOCKS5端口不同,从后台获取
- 用户名:你的天行IP账号
- 密码:你的天行IP密码
- 协议类型:根据套餐确定(SOCKS5/HTTP/L2TP)
代理URL格式:http://用户名:密码@代理地址:端口 或 socks5://用户名:密码@代理地址:端口
框架一:Requests配置代理
Requests是Python最常用的HTTP库,配置代理非常简单。直接在请求参数中传入proxies字典即可。
单个代理配置:
import requests
proxies = {
'http': 'http://username:password@proxy.tianxingip.com:port',
'https': 'http://username:password@proxy.tianxingip.com:port'
}
response = requests.get('https://www.example.com', proxies=proxies, timeout=10)
print(response.status_code)
print(response.text[:500])
SOCKS5代理配置:
使用SOCKS5代理需要安装PySocks库:pip install pysocks
import requests
proxies = {
'http': 'socks5://username:password@proxy.tianxingip.com:port',
'https': 'socks5://username:password@proxy.tianxingip.com:port'
}
response = requests.get('https://www.example.com', proxies=proxies, timeout=10)
代理轮换策略:
import requests
import itertools
proxy_list = [
'http://user1:pass1@proxy1.tianxingip.com:port1',
'http://user2:pass2@proxy2.tianxingip.com:port2',
'http://user3:pass3@proxy3.tianxingip.com:port3',
]
proxy_cycle = itertools.cycle(proxy_list)
for url in url_list:
proxy = next(proxy_cycle)
proxies = {'http': proxy, 'https': proxy}
try:
response = requests.get(url, proxies=proxies, timeout=10)
# 处理响应
except requests.exceptions.ProxyError:
# 代理连接失败,跳过用下一个
continue
except requests.exceptions.Timeout:
# 超时重试
continue
适用套餐:长效静态(6元/月)适合Requests单IP采集,N节点住宅(6元/月)适合需要住宅IP的采集场景。
框架二:Scrapy配置代理
Scrapy是Python最强大的爬虫框架,配置代理有三种方式:全局配置、下载中间件、第三方扩展。
方式一:全局配置(最简单)
在settings.py中设置:
# settings.py HTTP_PROXY = 'http://username:password@proxy.tianxingip.com:port' HTTPS_PROXY = 'http://username:password@proxy.tianxingip.com:port'
这种方式所有请求都走同一个代理,适合单IP低频采集。
方式二:下载中间件(支持代理轮换)
# middlewares.py
import itertools
class ProxyMiddleware:
proxy_list = [
'http://user1:pass1@proxy1.tianxingip.com:port1',
'http://user2:pass2@proxy2.tianxingip.com:port2',
'http://user3:pass3@proxy3.tianxingip.com:port3',
]
def __init__(self):
self.proxy_cycle = itertools.cycle(self.proxy_list)
def process_request(self, request, spider):
proxy = next(self.proxy_cycle)
request.meta['proxy'] = proxy
spider.logger.info(f'Using proxy: {proxy}')
def process_exception(self, request, exception, spider):
# 代理异常时重试,换下一个代理
proxy = next(self.proxy_cycle)
request.meta['proxy'] = proxy
return request
在settings.py中启用中间件:
DOWNLOADER_MIDDLEWARES = {
'myproject.middlewares.ProxyMiddleware': 543,
}
RETRY_TIMES = 3
方式三:scrapy-rotating-proxies扩展
pip install scrapy-rotating-proxies
# settings.py
ROTATING_PROXY_LIST = [
'http://user1:pass1@proxy1.tianxingip.com:port1',
'http://user2:pass2@proxy2.tianxingip.com:port2',
]
DOWNLOADER_MIDDLEWARES = {
'rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
'rotating_proxies.middlewares.BanDetectionMiddleware': 620,
}
错误重试机制:
# settings.py RETRY_ENABLED = True RETRY_TIMES = 3 RETRY_HTTP_CODES = [500, 502, 503, 504, 408, 429] DOWNLOAD_TIMEOUT = 15
适用套餐:J节点住宅(10元/月)IP池大适合Scrapy高频轮换采集,多IP配合轮换使用。
框架三:Selenium配置代理
Selenium用于模拟浏览器操作,代理配置方式和普通HTTP请求不同。需要在启动浏览器时指定代理。
Chrome配置HTTP代理:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('--proxy-server=http://proxy.tianxingip.com:port')
# 注意:Selenium的--proxy-server参数不支持用户名密码认证
# 需要用Chrome扩展方式传递认证信息
driver = webdriver.Chrome(options=chrome_options)
driver.get('https://www.example.com')
Chrome配置带认证的代理(推荐):
import zipfile
import base64
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
# 生成代理认证扩展
manifest_json = """
{
"version": "1.0.0",
"manifest_version": 2,
"name": "Proxy Auth",
"permissions": ["proxy", "tabs", "unlimitedStorage", "storage", "", "webRequest", "webRequestBlocking"],
"background": {"scripts": ["background.js"]}
}
"""
background_js = """
var config = {
mode: "fixed_servers",
rules: {
singleProxy: {
scheme: "http",
host: "proxy.tianxingip.com",
port: parseInt(port_number)
},
bypassList: ["localhost"]
}
};
chrome.proxy.settings.set({value: config, scope: "regular"}, function(){});
function callbackFn(details) {
return {
authCredentials: {
username: "your_username",
password: "your_password"
}
};
}
chrome.webRequest.onAuthRequired.addListener(
callbackFn,
{urls: [""]},
['blocking']
);
"""
# 写入临时文件
pluginfile = 'proxy_auth.zip'
with zipfile.ZipFile(pluginfile, 'w') as zp:
zp.writestr('manifest.json', manifest_json)
zp.writestr('background.js', background_js)
chrome_options = Options()
chrome_options.add_extension(pluginfile)
driver = webdriver.Chrome(options=chrome_options)
driver.get('https://www.example.com')
适用套餐:N节点住宅(6元/月)配合Selenium做模拟浏览器操作,住宅IP不易被网站识别为自动化工具。
框架四:Playwright配置代理
Playwright是新一代浏览器自动化框架,原生支持代理配置,比Selenium更简洁。
启动时配置代理:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
browser = p.chromium.launch(
proxy={
'server': 'http://proxy.tianxingip.com:port',
'username': 'your_username',
'password': 'your_password'
}
)
page = browser.new_page()
page.goto('https://www.example.com')
print(page.title())
browser.close()
Playwright直接支持用户名密码认证,不需要像Selenium那样写扩展,简洁很多。
每个Context使用不同代理:
from playwright.sync_api import sync_playwright
proxy_list = [
{'server': 'http://proxy1.tianxingip.com:port1', 'username': 'u1', 'password': 'p1'},
{'server': 'http://proxy2.tianxingip.com:port2', 'username': 'u2', 'password': 'p2'},
{'server': 'http://proxy3.tianxingip.com:port3', 'username': 'u3', 'password': 'p3'},
]
with sync_playwright() as p:
browser = p.chromium.launch()
for i, proxy_config in enumerate(proxy_list):
context = browser.new_context(proxy=proxy_config)
page = context.new_page()
page.goto(f'https://www.example.com?page={i}')
print(f'Proxy {i+1}: {page.title()}')
context.close()
browser.close()
这种方式可以同时开多个浏览器Context,每个Context走不同代理,适合并行采集。
反检测配置:
context = browser.new_context(
proxy=proxy_config,
user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
viewport={'width': 1920, 'height': 1080},
locale='zh-CN',
timezone_id='Asia/Shanghai'
)
配置User-Agent、视口大小、语言、时区与代理IP地区一致,降低被检测为自动化工具的风险。
代理轮换策略对比
| 策略 | 原理 | 适用场景 | 推荐套餐 |
|---|---|---|---|
| 顺序轮换 | 按固定顺序依次使用代理IP | 小规模采集,IP数量少 | 长效静态 6元/月 |
| 随机轮换 | 每次请求随机选一个代理IP | 中等规模采集 | N节点住宅 6元/月 |
| 按权重轮换 | 根据代理响应速度分配权重 | 追求效率的大规模采集 | J节点住宅 10元/月 |
| 按地区轮换 | 根据目标网站地区选对应代理 | 多地区电商/SEO采集 | J节点住宅 10元/月 |
| 失败自动切换 | 代理报错自动换下一个 | 所有场景都应启用 | 所有套餐 |
常见报错与解决方案
报错1:ProxyError: Cannot connect to proxy
原因:代理服务器地址或端口错误,或代理服务未启动。解决:检查天行IP后台获取的地址和端口是否正确,确认套餐是否在有效期内。
报错2:407 Proxy Authentication Required
原因:代理用户名密码错误。解决:检查天行IP后台的账号密码,注意密码区分大小写。确认认证方式是用户名密码而非IP白名单。
报错3:Read timed out
原因:代理响应超时。解决:增加timeout参数(建议15-30秒),检查代理IP速度是否达标,必要时更换节点。
报错4:SSLError
原因:HTTPS请求的SSL证书验证失败。解决:加verify=False跳过证书验证(不推荐生产环境),或更新certifi库。
报错5:ConnectionResetError
原因:代理IP被目标网站封禁或连接被重置。解决:切换到新的代理IP,降低请求频率,使用住宅IP替代数据中心IP。
框架选择建议
| 框架 | 适用场景 | 代理配置难度 | 推荐套餐 |
|---|---|---|---|
| Requests | 简单页面采集、API调用 | 简单 | 长效静态 6元/月 |
| Scrapy | 大规模分布式采集 | 中等(需写中间件) | J节点住宅 10元/月 |
| Selenium | 动态页面、JS渲染 | 复杂(需扩展认证) | N节点住宅 6元/月 |
| Playwright | 现代动态页面、并行采集 | 简单(原生支持) | N节点住宅 6元/月 |
写在最后
代理IP和爬虫框架的集成没有想象中复杂。Requests一行代码配置,Scrapy写个中间件,Playwright直接传proxy参数。关键是拿到天行IP后台的连接参数后,按框架对应的配置方式填进去。
选择套餐时,简单API采集用长效静态(6元/月)即可;需要模拟浏览器操作的用N节点住宅(6元/月);大规模高频采集用J节点住宅(10元/月)。天行IP推荐人blsj绑定的四折优惠长期有效,注册时填入blsj,所有套餐按四折计费。






