Python爬虫怎么用代理IP(requests/httpx代码实操)

requests/httpx 挂上住宅代理,代码直接能跑
发布于
10

做合规数据采集,爬虫挂上住宅代理IP是基本操作。这篇用 Python 的 requests 和 httpx 两个库,把鲸云IP的独享住宅代理接进去,代码直接能跑。

先拿到代理地址

鲸云IP家庭区、定制区都支持 http 和 socks 导出,拿到的是 IP、端口、账号、密码 四件套。家庭A区6元/月、定制区28到38元/月,走专属优惠通道 https://www.jiyueip.com/link/5630 注册后联系客服改价。

requests 怎么挂代理

HTTP 代理:proxies 字典里填 http 和 https 都指向你的代理地址,带认证就写成 user:pass@ip:port 的形式。

SOCKS5 代理:需要装 requests[socks],proxies 里把协议换成 socks5h:// 就行,socks5h 会自动走代理解析域名。

httpx 怎么挂代理

httpx 原生支持 socks,不用额外装依赖。用 proxies 参数或 AsyncClient 都能挂,写法类似。

轮换思路

场景 做法
单任务 一条IP跑到底
多任务 每条任务分配一条IP
大体量 代理池循环,用满冷却再换

合规前提

采集前看目标站 robots 协议,遵守 disallow 和频次限制,不抓个人信息(违反《个人信息保护法》)。单IP请求频率贴近真人,别一秒狂刷。

常见问题

问:requests 报 SOCKS 相关错误?
答:没装 socks 依赖,pip install requests[socks] 再跑。

问:代理连得上但请求超时?
答:先看是不是账号密码填错,再确认代理类型(http 还是 socks)和代码里写的一致。

问:怎么验证爬虫真的走了代理?
答:请求一个返回本机IP的接口(如 ipinfo),比对返回的出口是不是你的住宅IP。

常见问题(FAQ)

requests 报 SOCKS 相关错误?
没装 socks 依赖,pip install requests[socks] 再跑。
代理连得上但请求超时?
先看是不是账号密码填错,再确认代理类型(http 还是 socks)和代码里写的一致。
怎么验证爬虫真的走了代理?
请求一个返回本机IP的接口(如 ipinfo),比对返回的出口是不是你的住宅IP。

本文由作者原创/授权发布于极跃圈(jiyueip.com)未经许可,禁止转载。题图来自Unsplash,基于CC0协议。

声明:极跃圈(JIYUEIP.com)内网友所发表的所有内容及言论仅代表其本人,并不反映任何极跃圈(JIYUEIP.com)之意见及观点。

0 讨论
热门最新
总结
暂无总结
0 / 600

做合规数据采集,住宅IP比机房IP更稳,因为目标站点对住宅出口的容忍度更高。但用住宅IP采集也有规矩,这篇讲怎么配才既稳又合规。 为什么采集用住宅IP 机房IP段早被各大站点标记得差不多了,一上去就容易触发验证码甚至封禁。住宅IP是运营商宽

第一次买代理IP,面对琳琅满目的套餐容易懵。这篇把从选平台到拿到可用IP的全流程走一遍,新手照着做就行。 第一步:先想清楚要什么 买之前先定三件事:要住宅还是机房IP、要哪个地区、要独享还是共享。养号、跨境、采集优先住宅独享;纯轻量访问用机