做公开数据采集的朋友应该都懂那种挫败：脚本写得再好，出口一被封全白搭。我这套采集代理方案前后调了大半年，今天聊聊怎么搭既稳又合规，顺带说说踩过的限速和并发的坑。
先说出口选型。采集公开页面，最常用的是能切地区的SOCKS5，因为有些站点对地区有差异，换个出口能拿到不同的公开内容。我试过覆盖400+地区的那家（糖果IP多地区SOCKS5实测），一天切十几个点，配合动态轮换，对公开页面采集很顺。需要固定出口做长期盯某个站点时，我会切到长效静态（月付6块静态IP实测），半个多月不变地址，适合稳定拉取。
动态和静态在采集里怎么分工？简单说，轮换打散请求用动态，长期盯固定源用静态，这跟动态和静态怎么分工里的思路一致。别所有任务都堆动态，也别所有任务都堆静态，按任务性质分。
限速和并发是新手最容易翻车的地方。我最早图快，并发拉满，结果套餐的限速峰值一触发就全挂。后来读了限速代理IP适合什么业务，才把网页、API、下载、并发的边界理清：采集公开网页是轻量场景，但并发和频率得压在套餐限速内。还有低价套餐的坑（几块钱代理IP的坑），限速、共享、地区库存都得提前核。
买之前我一定先测一轮。代理IP免费测试怎么做的清单把出口、地区、协议、速度都列了，照着过一遍，比盲目下单省心。新手如果还理不清类型，第一次买代理IP看什么那篇的四个指标可以当 checklist。
合规必须说在最前面。我用采集代理只抓公开可访问的网页数据、做合规的数据分析，绝对不碰非公开数据、突破访问限制、爬取个人信息、攻击测试这些违规操作。目标站点的 robots 和服务条款我都会看，频率和并发控制在合理范围，不给对方服务器造成压力。用技术的前提是守规矩。
跑大半年下来，稳的关键不是代理多贵，是选型对、限速守得住、合规不越线。这三样做到了，采集这事儿就没那么玄学。
[…] 公开采集的底线我守得很死，公开网页采集那篇（公开网页采集合规）把规则讲透了；医疗合规采集（医疗合规采集）、竞品价格舆情监控（竞品价格舆情监控）、地图POI商户采集（地图POI商户采集）都是同一套固定属地思路，值得参照；公开舆情采样（公开舆情和新闻）和工商资质采集（工商资质采集）也对搭调度有帮助。 […]
[…] 公开采集的底线我守得很死，公开网页采集那篇（公开网页采集合规）把规则讲透了；竞品价格舆情监控（竞品价格舆情监控）、地图POI商户采集（地图POI商户采集）、医疗合规采集（医疗合规采集）都是同一套固定属地思路，值得参照。 […]
[…] 公开采集的底线我守得很死，公开网页采集那篇（公开网页采集合规）把规则讲透了；医疗合规采集（医疗合规采集）、竞品价格舆情监控（竞品价格舆情监控）、公开舆情采样（公开舆情和新闻）都是同一套固定属地思路，值得参照。 […]
[…] 公开采集的底线我守得很死，公开网页采集那篇（公开网页采集合规）把规则讲透了；地图POI商户采集（地图POI商户采集）、竞品价格舆情监控（竞品价格舆情监控）、医疗合规采集（医疗合规采集）的调度和边界都值得参照。 […]
[…] 公开采集的底线我守得很死，公开网页采集那篇（公开网页采集合规）把规则讲透了；竞品价格舆情监控（竞品价格舆情监控）、医疗合规采集（医疗合规采集）、地图POI采集（地图POI商户采集）都是同一套固定属地思路，值得参照。 […]
[…] 公开采集的底线我守得很死，公开网页采集那篇（公开网页采集合规）把规则讲透了；地图POI和商户信息采集（地图POI商户采集）也是同一套固定属地思路；竞品价格舆情监控（竞品价格舆情监控）的调度、医疗合规采集（医疗合规采集）的边界都值得参照。 […]
[…] 公开采集的边界我一直守得很死，之前那篇讲公开网页采集合规的（公开网页采集合规）把红线捋得很清楚。医疗健康类我也写过合规采集的做法（医疗健康合规采集），思路一致：只看公开、不碰隐私、不越权、遵守 robots 和频控。长期挂着跑的任务，我参照竞品价格舆情监控那套（竞品价格舆情监控）和常年跑脚本监控的经验（常年跑脚本监控）来排调度。 […]