做合规数据采集,爬虫挂上住宅代理IP是基本操作。这篇用 Python 的 requests 和 httpx 两个库,把鲸云IP的独享住宅代理接进去,代码直接能跑。
先拿到代理地址
鲸云IP家庭区、定制区都支持 http 和 socks 导出,拿到的是 IP、端口、账号、密码 四件套。家庭A区6元/月、定制区28到38元/月,走专属优惠通道 https://www.jiyueip.com/link/5630 注册后联系客服改价。
requests 怎么挂代理
HTTP 代理:proxies 字典里填 http 和 https 都指向你的代理地址,带认证就写成 user:pass@ip:port 的形式。
SOCKS5 代理:需要装 requests[socks],proxies 里把协议换成 socks5h:// 就行,socks5h 会自动走代理解析域名。
httpx 怎么挂代理
httpx 原生支持 socks,不用额外装依赖。用 proxies 参数或 AsyncClient 都能挂,写法类似。
轮换思路
| 场景 | 做法 |
|---|---|
| 单任务 | 一条IP跑到底 |
| 多任务 | 每条任务分配一条IP |
| 大体量 | 代理池循环,用满冷却再换 |
合规前提
采集前看目标站 robots 协议,遵守 disallow 和频次限制,不抓个人信息(违反《个人信息保护法》)。单IP请求频率贴近真人,别一秒狂刷。
常见问题
问:requests 报 SOCKS 相关错误?
答:没装 socks 依赖,pip install requests[socks] 再跑。
问:代理连得上但请求超时?
答:先看是不是账号密码填错,再确认代理类型(http 还是 socks)和代码里写的一致。
问:怎么验证爬虫真的走了代理?
答:请求一个返回本机IP的接口(如 ipinfo),比对返回的出口是不是你的住宅IP。






