Python爬虫保存网页源码及本地存储方法

本文深入解析了Python爬虫保存网页源码时的四大核心痛点：因JavaScript动态渲染导致requests获取的内容与浏览器显示不一致、编码识别错误引发的乱码问题、BeautifulSoup解析后丢失script/style等关键标签、以及文件名非法字符和路径过长导致的保存失败；文章强调“完整保存”的本质是兼顾原始性与兼容性，给出从规避JS限制、手动解码response.content、安全写入文件到规范化文件命名的一整套轻量实用方案，帮开发者绕过常见陷阱，真正实现稳定可靠的网页本地存档。

requests.get() 返回的 response.text 为什么和浏览器看到的不一样

多数时候不是代码错了，而是网页用了 JavaScript 渲染。requests 只拿原始 HTML，不执行 JS，所以 response.text 里可能没有你想要的正文、列表或按钮——它们是后来用 fetch() 或 axios 加载的。

实操建议：

• 先用浏览器开发者工具（Network → HTML 请求）确认：目标内容是否在初始 HTML 里？如果不是，requests 就不够用
• 若必须等 JS 执行，换 selenium 或 playwright；但注意启动慢、内存高、容易被反爬识别
• 如果只是 AJAX 接口返回的数据，直接抓那个 XHR 请求的 URL，用 requests.get() 调它更轻量

保存 HTML 时 encode/decode 错误导致乱码或报错

中文网页常见 charset=utf-8 声明在 标签里，但 requests 不会自动按这个解码——它默认用响应头里的 Content-Type，而很多服务器压根不写或写错。

实操建议：

• 别依赖 response.text，改用 response.content（原始字节），再手动 decode：

  html = response.content.decode('utf-8', errors='ignore')

• 想自动探测编码，装 chardet：

  import chardet<br>encoding = chardet.detect(response.content)['encoding'] or 'utf-8'<br>html = response.content.decode(encoding, errors='replace')

• 写入文件时显式指定 encoding：

  with open('page.html', 'w', encoding='utf-8') as f:<br>    f.write(html)

  ，否则 Windows 上默认用 cp1252，一写中文就崩

用 BeautifulSoup 解析后保存，结果丢失 script/style 或注释

BeautifulSoup 默认只保留“有意义”的标签结构，