Python防爬虫：IP限流+UA校验+Token策略

本文深入剖析了Python网络爬虫被封IP或拦截的核心原因与实战应对策略，指出多数“被限流”并非源于复杂的反爬系统，而是因忽略基础HTTP头规范（如缺失或使用默认User-Agent）直接触发Nginx/CDN的UA过滤；进而系统讲解了如何通过随机真实UA、完整模拟浏览器请求头（含Accept-Language、Accept-Encoding、Sec-Fetch-*等）、规避TLS指纹识别（JA3）、绕过DOM蜜罐陷阱、正确处理动态绑定Token（关联设备指纹、Referer、时间戳及JS计算逻辑）等关键手段，强调反爬对抗的本质是持续适配目标站不断演进的多维校验规则——唯有精细复现真实浏览器行为、保留完整请求响应日志并快速迭代验证，才能在动态博弈中保持稳定采集能力。

Python请求被封IP？先确认是不是没带User-Agent或用了默认requests头

绝大多数“被限流”根本不是反爬系统在拦截，而是目标站用Nginx或CDN做了基础UA过滤——空User-Agent、python-requests/2.**这种标识直接进黑名单。动态Token和蜜罐是进阶手段，但连UA都不换，根本到不了那一步。

实操建议：

• 永远显式传headers，至少包含'User-Agent'，值从主流浏览器真实UA池里随机取（别硬写Chrome固定版本）
• 避免连续用同一个session发请求，每次新建requests.Session()前清掉cookies和headers缓存
• 如果发现返回403且响应体含"blocked"或"access denied"，优先检查curl -I对比自己请求头和浏览器抓包头差异

用requests模拟登录后拿token，为什么过两分钟就失效？

不是Token过期逻辑有问题，而是服务端把token和设备指纹、请求时序、Referer甚至TLS指纹绑定了。你用requests拿到的token，在Postman里手动复现都可能失败——因为requests不发Sec-Fetch-*头、没有WebGL渲染痕迹、TLS握手参数也不同。

实操建议：

• 别只盯着token本身，用浏览器开发者工具Network面板完整录下登录全过程，重点关注Set-Cookie、X-CSRF-Token、X-Request-ID等字段是否被后续请求携带
• 如果接口要求Referer，必须和登录页URL一致；部分站点还校验Origin，错一个字母就401
• 动态Token类接口往往带时间戳参数（如t=1712345678900），这个值通常由前端JS计算，不能直接抄，得逆向或用Playwright执行JS获取

加了随机延时+换UA还是被识别？可能是Accept-Language和Accept-Encoding暴露了Python环境

很多反爬系统不看IP频次，专盯HTTP头组合异常：比如User-Agent是Chrome 120，但Accept-Language只有en-US,en;q=0.9（真实Chrome默认带地区子标签如zh-CN,zh;q=0.9），或者Accept-Encoding漏了br（Brotli压缩）——这在现代浏览器里几乎必带。

实操建议：

• 构造headers时，把Accept、Accept-Language、Accept-Encoding、Connection、Cache-Control全配齐，值从真实浏览器请求中复制
• 禁用requests自动压缩：session.headers.update({'Accept-Encoding': 'gzip, deflate'})，别让它偷偷加br
• 如果目标站用Cloudflare或Akamai，它们会校验TLS指纹（JA3），此时requests完全无解，必须切playwright或selenium走真实浏览器

蜜罐链接怎么绕过？别去点，先看display:none和visibility:hidden的DOM节点

蜜罐不是靠“你点了假链接”才触发，而是页面加载时就埋了不可见元素（比如div style="display:none"里塞了个a href="/anti-crawler"）。只要你用BeautifulSoup或lxml解析HTML并调用.find_all('a')，就会扫到它——而真人浏览器根本不会遍历隐藏节点。

实操建议：

• 解析前先过滤掉style含display:none、visibility:hidden、opacity:0的父节点，用bs4可结合CSS选择器：soup.select('a:not([style*="display:none"]):not([style*="visibility:hidden"])')
• 别用response.text直接喂给解析器，先用正则剔除明显蜜罐脚本块（如含document.getElementById("bot-check")的script标签）
• 最稳妥的是跳过HTML解析，直接分析XHR/Fetch请求：蜜罐链接极少出现在API返回里，真数据都在json接口中

动态Token和蜜罐真正难的不是技术实现，而是每个站点校验维度都不一样——今天有效的headers组合，明天加个Sec-Ch-Ua-Mobile就全废。别指望一套配置通吃，留好日志，重点记录每次403响应里的Set-Cookie变化和新增响应头。

今天关于《Python防爬虫：IP限流+UA校验+Token策略》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！