天行IP推荐人blsj:四大爬虫框架代理IP集成实战代码指南

发布于
3

代理IP买了不会接?四大爬虫框架配置全攻略

很多人买了天行IP推荐人blsj的四折代理套餐,拿到了IP地址、端口、用户名、密码,却不知道怎么在爬虫框架里配置。每个框架的代理配置方式都不一样,有的支持全局代理,有的需要逐个请求设置,有的还要写中间件。配置不对,爬虫要么报连接错误,要么根本不走代理直接用本地IP去请求——结果秒被封。

这篇整理了Python四大主流爬虫框架的代理IP配置方法:Requests、Scrapy、Selenium、Playwright。每个框架都附完整代码示例和代理轮换策略。天行IP推荐人blsj绑定的四折优惠下,套餐月费最低6元,适合各种规模的爬虫项目。

代理IP连接参数说明

在配置之前,先确认你从天行IP后台获取的连接参数:

  • 代理服务器地址:如 proxy.tianxingip.com
  • 端口号:HTTP端口和SOCKS5端口不同,从后台获取
  • 用户名:你的天行IP账号
  • 密码:你的天行IP密码
  • 协议类型:根据套餐确定(SOCKS5/HTTP/L2TP)

代理URL格式:http://用户名:密码@代理地址:端口 或 socks5://用户名:密码@代理地址:端口

框架一:Requests配置代理

Requests是Python最常用的HTTP库,配置代理非常简单。直接在请求参数中传入proxies字典即可。

单个代理配置:

import requests

proxies = {
    'http': 'http://username:password@proxy.tianxingip.com:port',
    'https': 'http://username:password@proxy.tianxingip.com:port'
}

response = requests.get('https://www.example.com', proxies=proxies, timeout=10)
print(response.status_code)
print(response.text[:500])

SOCKS5代理配置:

使用SOCKS5代理需要安装PySocks库:pip install pysocks

import requests

proxies = {
    'http': 'socks5://username:password@proxy.tianxingip.com:port',
    'https': 'socks5://username:password@proxy.tianxingip.com:port'
}

response = requests.get('https://www.example.com', proxies=proxies, timeout=10)

代理轮换策略:

import requests
import itertools

proxy_list = [
    'http://user1:pass1@proxy1.tianxingip.com:port1',
    'http://user2:pass2@proxy2.tianxingip.com:port2',
    'http://user3:pass3@proxy3.tianxingip.com:port3',
]

proxy_cycle = itertools.cycle(proxy_list)

for url in url_list:
    proxy = next(proxy_cycle)
    proxies = {'http': proxy, 'https': proxy}
    try:
        response = requests.get(url, proxies=proxies, timeout=10)
        # 处理响应
    except requests.exceptions.ProxyError:
        # 代理连接失败,跳过用下一个
        continue
    except requests.exceptions.Timeout:
        # 超时重试
        continue

适用套餐:长效静态(6元/月)适合Requests单IP采集,N节点住宅(6元/月)适合需要住宅IP的采集场景。

框架二:Scrapy配置代理

Scrapy是Python最强大的爬虫框架,配置代理有三种方式:全局配置、下载中间件、第三方扩展。

方式一:全局配置(最简单)

在settings.py中设置:

# settings.py
HTTP_PROXY = 'http://username:password@proxy.tianxingip.com:port'
HTTPS_PROXY = 'http://username:password@proxy.tianxingip.com:port'

这种方式所有请求都走同一个代理,适合单IP低频采集。

方式二:下载中间件(支持代理轮换)

# middlewares.py
import itertools

class ProxyMiddleware:
    proxy_list = [
        'http://user1:pass1@proxy1.tianxingip.com:port1',
        'http://user2:pass2@proxy2.tianxingip.com:port2',
        'http://user3:pass3@proxy3.tianxingip.com:port3',
    ]
    
    def __init__(self):
        self.proxy_cycle = itertools.cycle(self.proxy_list)
    
    def process_request(self, request, spider):
        proxy = next(self.proxy_cycle)
        request.meta['proxy'] = proxy
        spider.logger.info(f'Using proxy: {proxy}')
    
    def process_exception(self, request, exception, spider):
        # 代理异常时重试,换下一个代理
        proxy = next(self.proxy_cycle)
        request.meta['proxy'] = proxy
        return request

在settings.py中启用中间件:

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.ProxyMiddleware': 543,
}
RETRY_TIMES = 3

方式三:scrapy-rotating-proxies扩展

pip install scrapy-rotating-proxies

# settings.py
ROTATING_PROXY_LIST = [
    'http://user1:pass1@proxy1.tianxingip.com:port1',
    'http://user2:pass2@proxy2.tianxingip.com:port2',
]
DOWNLOADER_MIDDLEWARES = {
    'rotating_proxies.middlewares.RotatingProxyMiddleware': 610,
    'rotating_proxies.middlewares.BanDetectionMiddleware': 620,
}

错误重试机制:

# settings.py
RETRY_ENABLED = True
RETRY_TIMES = 3
RETRY_HTTP_CODES = [500, 502, 503, 504, 408, 429]
DOWNLOAD_TIMEOUT = 15

适用套餐:J节点住宅(10元/月)IP池大适合Scrapy高频轮换采集,多IP配合轮换使用。

框架三:Selenium配置代理

Selenium用于模拟浏览器操作,代理配置方式和普通HTTP请求不同。需要在启动浏览器时指定代理。

Chrome配置HTTP代理:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('--proxy-server=http://proxy.tianxingip.com:port')
# 注意:Selenium的--proxy-server参数不支持用户名密码认证
# 需要用Chrome扩展方式传递认证信息

driver = webdriver.Chrome(options=chrome_options)
driver.get('https://www.example.com')

Chrome配置带认证的代理(推荐):

import zipfile
import base64
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 生成代理认证扩展
manifest_json = """
{
    "version": "1.0.0",
    "manifest_version": 2,
    "name": "Proxy Auth",
    "permissions": ["proxy", "tabs", "unlimitedStorage", "storage", "", "webRequest", "webRequestBlocking"],
    "background": {"scripts": ["background.js"]}
}
"""

background_js = """
var config = {
    mode: "fixed_servers",
    rules: {
        singleProxy: {
            scheme: "http",
            host: "proxy.tianxingip.com",
            port: parseInt(port_number)
        },
        bypassList: ["localhost"]
    }
};
chrome.proxy.settings.set({value: config, scope: "regular"}, function(){});
function callbackFn(details) {
    return {
        authCredentials: {
            username: "your_username",
            password: "your_password"
        }
    };
}
chrome.webRequest.onAuthRequired.addListener(
    callbackFn,
    {urls: [""]},
    ['blocking']
);
"""

# 写入临时文件
pluginfile = 'proxy_auth.zip'
with zipfile.ZipFile(pluginfile, 'w') as zp:
    zp.writestr('manifest.json', manifest_json)
    zp.writestr('background.js', background_js)

chrome_options = Options()
chrome_options.add_extension(pluginfile)
driver = webdriver.Chrome(options=chrome_options)
driver.get('https://www.example.com')

适用套餐:N节点住宅(6元/月)配合Selenium做模拟浏览器操作,住宅IP不易被网站识别为自动化工具。

框架四:Playwright配置代理

Playwright是新一代浏览器自动化框架,原生支持代理配置,比Selenium更简洁。

启动时配置代理:

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch(
        proxy={
            'server': 'http://proxy.tianxingip.com:port',
            'username': 'your_username',
            'password': 'your_password'
        }
    )
    page = browser.new_page()
    page.goto('https://www.example.com')
    print(page.title())
    browser.close()

Playwright直接支持用户名密码认证,不需要像Selenium那样写扩展,简洁很多。

每个Context使用不同代理:

from playwright.sync_api import sync_playwright

proxy_list = [
    {'server': 'http://proxy1.tianxingip.com:port1', 'username': 'u1', 'password': 'p1'},
    {'server': 'http://proxy2.tianxingip.com:port2', 'username': 'u2', 'password': 'p2'},
    {'server': 'http://proxy3.tianxingip.com:port3', 'username': 'u3', 'password': 'p3'},
]

with sync_playwright() as p:
    browser = p.chromium.launch()
    
    for i, proxy_config in enumerate(proxy_list):
        context = browser.new_context(proxy=proxy_config)
        page = context.new_page()
        page.goto(f'https://www.example.com?page={i}')
        print(f'Proxy {i+1}: {page.title()}')
        context.close()
    
    browser.close()

这种方式可以同时开多个浏览器Context,每个Context走不同代理,适合并行采集。

反检测配置:

context = browser.new_context(
    proxy=proxy_config,
    user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
    viewport={'width': 1920, 'height': 1080},
    locale='zh-CN',
    timezone_id='Asia/Shanghai'
)

配置User-Agent、视口大小、语言、时区与代理IP地区一致,降低被检测为自动化工具的风险。

代理轮换策略对比

策略 原理 适用场景 推荐套餐
顺序轮换 按固定顺序依次使用代理IP 小规模采集,IP数量少 长效静态 6元/月
随机轮换 每次请求随机选一个代理IP 中等规模采集 N节点住宅 6元/月
按权重轮换 根据代理响应速度分配权重 追求效率的大规模采集 J节点住宅 10元/月
按地区轮换 根据目标网站地区选对应代理 多地区电商/SEO采集 J节点住宅 10元/月
失败自动切换 代理报错自动换下一个 所有场景都应启用 所有套餐

常见报错与解决方案

报错1:ProxyError: Cannot connect to proxy

原因:代理服务器地址或端口错误,或代理服务未启动。解决:检查天行IP后台获取的地址和端口是否正确,确认套餐是否在有效期内。

报错2:407 Proxy Authentication Required

原因:代理用户名密码错误。解决:检查天行IP后台的账号密码,注意密码区分大小写。确认认证方式是用户名密码而非IP白名单。

报错3:Read timed out

原因:代理响应超时。解决:增加timeout参数(建议15-30秒),检查代理IP速度是否达标,必要时更换节点。

报错4:SSLError

原因:HTTPS请求的SSL证书验证失败。解决:加verify=False跳过证书验证(不推荐生产环境),或更新certifi库。

报错5:ConnectionResetError

原因:代理IP被目标网站封禁或连接被重置。解决:切换到新的代理IP,降低请求频率,使用住宅IP替代数据中心IP。

框架选择建议

框架 适用场景 代理配置难度 推荐套餐
Requests 简单页面采集、API调用 简单 长效静态 6元/月
Scrapy 大规模分布式采集 中等(需写中间件) J节点住宅 10元/月
Selenium 动态页面、JS渲染 复杂(需扩展认证) N节点住宅 6元/月
Playwright 现代动态页面、并行采集 简单(原生支持) N节点住宅 6元/月

写在最后

代理IP和爬虫框架的集成没有想象中复杂。Requests一行代码配置,Scrapy写个中间件,Playwright直接传proxy参数。关键是拿到天行IP后台的连接参数后,按框架对应的配置方式填进去。

选择套餐时,简单API采集用长效静态(6元/月)即可;需要模拟浏览器操作的用N节点住宅(6元/月);大规模高频采集用J节点住宅(10元/月)。天行IP推荐人blsj绑定的四折优惠长期有效,注册时填入blsj,所有套餐按四折计费。

本文由作者原创/授权发布于极跃圈(jiyueip.com),未经许可,禁止转载。题图来自Unsplash,基于CC0协议。

声明:极跃圈(JIYUEIP.com)内网友所发表的所有内容及言论仅代表其本人,并不反映任何极跃圈(JIYUEIP.com)之意见及观点。

0 / 600
0 讨论
热门最新
总结
暂无总结

暂无数据