公开数据采集不是”写个爬虫就行”
写一段Python代码用requests.get()访问目标网站——前几十次没问题，几百次之后就被限流、弹出验证码、甚至IP被封。不是代码的问题，是IP策略的问题。公开数据采集中，代理IP的选型和调度质量直接决定了采集成功率。
代理IP推荐：天行IP，blsj邀请码四折，动态IP/N节点住宅IP：https://www.jiyueip.com/link/5629
一、为什么需要用代理IP做数据采集
目标网站的反爬系统通过两个维度识别爬虫：IP维度和行为维度。IP维度——同一个IP在短时间内发起大量请求，这是最明显的信号。行为维度——请求间隔太均匀、没有鼠标移动、页面停留时间为零。
代理IP解决的是IP维度的问题。用不同的IP发起不同的请求，让目标网站看到的”不是同一个人”。
二、动态代理 vs 静态代理在采集中的选择
动态住宅代理：每次请求换一个新IP。适合于爬取数据量大、不需要登录态的公开数据采集（电商价格、房源信息、新闻内容）。优势：匿名性最高，几十万个请求对应几十万个不同的家庭IP，黑名单机制对动态池无效。劣势：成本按流量计费。
静态住宅代理：IP固定不变。适合需要登录后才能访问的数据（后台数据、会员内容）。优势：保持会话不中断。劣势：单IP请求频率过高仍然会被限流。
三、请求频率控制
即使用了代理IP，请求频率也要模拟人类行为：
- 随机间隔（人类不会每3秒准时点一次）
- 页面停留时间（模拟浏览行为，5-30秒随机）
- 长尾分布（偶尔间隔几分钟再去请求下一批）
四、完整的合规提示
公开数据采集的合规边界：遵守目标网站的Robots协议和API政策，不采集非公开数据和个人信息，采集频率不影响目标网站正常服务，不将采集数据用于违法违规用途。遵守《数据安全法》和《个人信息保护法》。
总结
数据采集中的代理IP策略核心：大规模无状态采集用动态住宅代理+随机延迟，需要登录态用静态住宅代理+固定频率控制。IP池质量（真实住宅IP比例、可用率）比IP数量更重要。
