requests-html 配置 NTLM 与证书验证方法

本文深入讲解了如何在 requests-html 中无缝集成 NTLM 身份认证（支持 Windows 域环境）并精确控制 TLS 证书验证（包括自签名证书和企业 CA），通过直接利用 HTMLSession 对 requests.Session 的完全继承特性，仅需在 get() 方法中传入 auth 和 verify 参数即可安全、高效地访问受保护的内网网页——无需魔改源码或复杂封装，同时兼顾 JavaScript 渲染能力与生产级安全性，是企业自动化爬取和集成内网系统的实用指南。

本文详解如何在 requests-html 的 HTMLSession.get() 方法中集成 NTLM 身份认证（如 requests_ntlm.HttpNtlmAuth）并启用自签名/企业 CA 证书校验，确保安全、可靠地访问受 Windows 域保护的内网网页。

本文详解如何在 requests-html 的 `HTMLSession.get()` 方法中集成 NTLM 身份认证（如 `requests_ntlm.HttpNtlmAuth`）并启用自签名/企业 CA 证书校验，确保安全、可靠地访问受 Windows 域保护的内网网页。

requests-html 是基于 requests 构建的 HTML 解析库，其 HTMLSession 完全继承了 requests.Session 的所有参数能力，因此可直接通过 auth 和 verify 参数注入认证对象与证书路径——无需额外封装或 monkey patch。

✅ 正确用法：NTLM 认证 + 证书验证

首先安装必要依赖：

pip install requests-html requests-ntlm

然后在代码中显式传入 auth（支持 HttpNtlmAuth）和 verify（支持 PEM 格式证书路径或 False 禁用验证）：

import logging
from requests_html import HTMLSession
from requests_ntlm import HttpNtlmAuth

def get_url(url: str, username: str, password: str, cert_path: str = None) -> HTMLResponse:
    s = HTMLSession()
    # 构造 NTLM 认证对象（格式：DOMAIN\\username 或 username@DOMAIN）
    auth = HttpNtlmAuth(username, password)

    try:
        # 同时传递 auth 和 verify：cert_path 为 None 时默认使用系统 CA；设为字符串路径则加载指定证书
        response = s.get(
            url,
            auth=auth,
            verify=cert_path or True  # 若 cert_path 为空，保持默认 TLS 验证
        )
        response.raise_for_status()  # 主动抛出 HTTP 错误（如 401/403）
    except Exception as e:
        logging.exception(f"HTTP 请求失败：{e}")
        raise

    # 渲染 JavaScript（需已安装 pyppeteer 或 chromium）
    response.html.render(timeout=20, sleep=2)
    return response

# 使用示例
if __name__ == "__main__":
    url = "https://intranet.company.local/dashboard"
    resp = get_url(
        url=url,
        username="CORP\\jsmith",
        password="MySecurePass123!",
        cert_path="/path/to/company-root-ca.pem"  # 可选：企业内部根证书路径
    )
    print(resp.html.find("title", first=True).text)

⚠️ 关键注意事项

• NTLM 用户名格式：务必使用 DOMAIN\username 或 username@DOMAIN 格式；纯用户名可能被服务端拒绝；
• 证书路径有效性：verify= 接收字符串（.pem 或 .crt 文件路径）、True（系统默认 CA）、False（跳过验证，仅限测试环境）；
• 渲染依赖：response.html.render() 需提前运行 pyppeteer-install 或配置 Chromium 路径，否则会抛出 BrowserError；
• 异常处理建议：除通用 Exception 外，推荐捕获 requests.exceptions.RequestException 及其子类（如 ConnectionError, Timeout, HTTPError），便于精细化重试或告警；
• 会话复用优势：HTMLSession 自动复用连接与 Cookie，多次请求同一域时应复用 s 实例，而非每次新建。

✅ 总结

requests-html 对底层 requests 特性的完全兼容，使其天然支持 NTLM、Digest、OAuth2 等各类认证方式及完整 TLS 控制能力。只需将认证对象与证书路径作为标准关键字参数传入 get()，即可在保留 HTML 渲染能力的同时，安全访问企业级内网资源。切勿绕过 verify 参数生产部署——始终优先配置可信 CA 证书路径，而非设为 False。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《requests-html 配置 NTLM 与证书验证方法》文章吧，也可关注golang学习网公众号了解相关技术文章。