Python爬虫文档自动导出技巧

本文深入解析了使用Playwright进行Python文档自动化PDF导出时的常见陷阱与实战解决方案，直击page.pdf()导出空白、失败、样式错乱、内容缺失等核心痛点，系统性地覆盖打印功能启用、页面渲染等待策略、print媒体模拟、Shadow DOM/iframe处理、登录态持久化、Token过期应对及PDF内容有效性自动校验等关键环节，强调稳定导出的本质并非简单调用API，而是精准把握网页加载节奏、浏览器上下文生命周期与目标站点前端逻辑的深度协同——让每一份自动生成的PDF真正“所见即所得”，而非一张不可靠的白纸。

Playwright 中 page.pdf() 为什么导出空白或失败

直接调用 page.pdf() 常见问题是生成空 PDF 或报错 Protocol error (Page.printToPDF): Printing is not enabled。根本原因不是代码写错了，而是 Chromium 默认禁用打印功能，且页面未充分加载或未触发渲染就执行导出。

实操建议：

• 必须在 page.goto() 后显式等待关键内容出现，例如 page.wait_for_selector("main") 或 page.wait_for_load_state("networkidle")，不能只靠 time.sleep()
• 启动浏览器时需启用打印支持：传入 args=["--enable-printing"]（Linux/macOS）或 ["--enable-printing", "--print-to-pdf-no-header"]（Windows 更稳定）
• page.pdf() 不支持直接导出带 JS 渲染的富文档（如 Vue/React 动态表格），需先确保目标 DOM 已静态就绪

导出前如何模拟“页面打印”行为（避免样式丢失）

很多在线文档（如 Notion、语雀、腾讯文档）会通过 CSS 的 @media print 隐藏侧边栏、按钮等非正文元素，但 Playwright 默认不触发该媒体查询。直接截图或 PDF 导出常保留导航栏、广告位，甚至排版错乱。

实操建议：

• 注入一段 JS 强制激活打印样式：page.add_style_tag(content="@media print { * { visibility: visible !important; } }")（仅作兜底，不推荐长期依赖）
• 更可靠的方式是先用 page.emulate_media(media="print") 切换媒体类型，再等待重绘完成（如 page.wait_for_timeout(300)）
• 若文档使用 Shadow DOM 或 iframe 加载正文，需先 page.frame_locator() 定位到目标 frame 再执行 PDF 导出

处理登录态与动态 Token 的实际方案

多数在线文档平台要求登录后才能查看完整内容，而 Playwright 的无头模式默认不保存 Cookie，手动登录又易被风控拦截（如滑块、短信验证）。

实操建议：

• 跳过登录流程：用已登录的浏览器配置启动，例如 playwright.chromium.launch_persistent_context(user_data_dir="/path/to/Chrome/User Data", headless=False)，复用本地 Chrome 的登录态和扩展
• 若必须自动化登录，优先用 storage_state 保存/加载认证状态，而非重复输入账号密码：context = browser.new_context(storage_state="auth.json")
• 注意 Token 过期时间——storage_state 中的 cookie 可能含 Expires 字段，导出任务若隔天运行，需重新触发登录并覆盖旧文件

导出 PDF 后如何校验内容有效性

自动化流程中，PDF 看似生成成功，但可能只有封面页、全是空白页，或文字被渲染为路径（无法复制）。靠人工抽查不可持续。

实操建议：

• 用 pypdf.PdfReader 快速检查页数和基础元数据：len(reader.pages) > 0 and reader.pages[0].extract_text().strip()
• 避免依赖 OCR：对纯文本 PDF，优先用 pdfplumber 提取首屏可见文字，比 PyMuPDF 更轻量且抗干扰强
• 导出后立即对比哈希值（如 hashlib.md5(open("out.pdf","rb").read()).hexdigest()）可快速识别重复或空文件，适合加入 CI 流水线

真正难的不是点一下“打印”，而是让页面在无人值守时稳定进入可打印状态——这需要你理解目标网站的加载节奏、CSS 媒体逻辑和 Playwright 的上下文生命周期。漏掉任意一环，PDF 就可能变成一张白纸。

以上就是《Python爬虫文档自动导出技巧》的详细内容，更多关于的资料请关注golang学习网公众号！