Python爬虫如何解析Brotli压缩数据

本文详解了Python爬虫中处理Brotli（br）压缩响应的完整解决方案：只需执行`pip install brotli`，Requests便会通过urllib3自动注册Brotli解码器，无需修改代码或手动解压；若仍报`ContentEncodingError`，问题通常出在环境不一致、urllib3版本过低（需≥1.26）、conda与pip混用、自定义适配器干扰，或服务器返回异常Brotli流等深层原因；文章还澄清了`brotli`与已弃用的`python-brotli`的区别，并指出仅在极少数特殊场景（如空响应、代理篡改、定制化解码需求）下才需手动接管解压逻辑——帮你快速定位、精准修复，告别Brotli压缩引发的爬虫中断困扰。

Requests 报错 ContentEncodingError: Cannot decode content body 怎么办

这是 Requests 遇到 Brotli 压缩响应但没装解码支持时的典型报错。Requests 本身不内置 Brotli 解压能力，必须额外装库并确保底层 urllib3 能识别 br 编码。

• 不是所有服务器都用 Brotli，但越来越多 CDN（如 Cloudflare）默认启用，尤其对静态资源或 API 响应
• 报错通常出现在 response.text 或 response.json() 调用时，而非 response.content —— 因为后者不触发自动解码
• 别试 response.headers.get('content-encoding') 后手动解压：urllib3 已尝试过且失败了，说明它根本没注册 br 解码器

装 brotli 还是 python-brotli？

只装 brotli（PyPI 上的 brotli 包）就足够，python-brotli 是旧名、已弃用，装了反而可能冲突。

• 执行 pip install brotli 即可，不需要 --upgrade 或额外编译参数
• 装完后 Requests 会自动通过 urllib3 检测到 brotli 模块，并注册 br 解码器——无需改代码、无需手动调用 brotli.decompress()
• 验证是否生效：运行 import urllib3; print(urllib3.util.response._DECODERS)，输出里应含 'br'

为什么装了 brotli 还是报错？

常见原因不是库没装，而是环境或依赖链断了。

• 用了 conda 环境但用 pip 安装：conda 的 urllib3 可能没重新加载解码器，建议统一用 conda install -c conda-forge brotli
• 项目锁了 urllib3 < 1.26：老版本 urllib3 不支持动态注册 br 解码器，必须升到 1.26+（Requests 2.26+ 默认带）
• 自己 patch 过 requests.adapters.HTTPAdapter 或替换了 urllib3.PoolManager：绕过了默认解码流程，得手动加 decode_content=True 或补解码逻辑
• 服务器返回的 Content-Encoding: br 但实际内容不是合法 Brotli 流（比如被中间代理篡改），这时 brotli.decompress() 会抛 BrotliError，需捕获处理

要不要手动解压？什么情况下必须绕过自动解码

绝大多数情况不用。但遇到以下场景，就得自己接管：

• 响应头是 Content-Encoding: br，但 body 是空或极小（response.content + try/except 更稳
• 需要复用解压后的 bytes 做多次解析（比如先 json.loads() 再 lxml.fromstring()），避免重复解压开销——直接 brotli.decompress(response.content)
• 用的是 httpx 或 aiohttp：它们不共享 Requests 的解码机制，httpx 需要 httpx[http2]（自带 Brotli 支持），aiohttp 则要额外装 aiohttp[br]

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Python爬虫如何解析Brotli压缩数据》文章吧，也可关注golang学习网公众号了解相关技术文章。