Python爬虫绕过登录验证方法

本文深入解析了Python爬虫绕过登录验证的核心难点：Selenium与requests会话完全隔离导致Cookie无法自动复用，必须在关闭浏览器前精准提取并转换driver.get_cookies()为{name:value}字典，同时警惕HttpOnly字段不可读、domain匹配失效、关键Headers（如User-Agent、Referer、X-CSRFToken）缺失等致命细节；文章不仅指出常见错误（如手动拼错键名、盲目保存完整Cookie对象），更给出实用方案——优先复用Selenium实例持续访问以规避指纹识别，或严谨补全Headers与CSRF令牌，强调“绕过登录”的本质是同步整个认证上下文，而非仅传递Cookie。

用Selenium登录后直接复用Cookie，为什么 requests 仍返回 401？

因为 requests 不自动读取 Selenium 启动的浏览器 Cookie，两者会话完全隔离。Selenium 操作的是真实浏览器上下文，而 requests 是纯 HTTP 客户端，它不知道你刚在 Chrome 里点过登录按钮。

常见错误是：登录完就关掉浏览器，再用 requests.get(url, cookies=...) —— 这时传的要么是空字典，要么是手动拼错的键名（比如把 sessionid 写成 SESSIONID）。

• 必须在 Selenium 登录成功后、关闭浏览器前，调用 driver.get_cookies() 获取原始 Cookie 列表
• 需转换为 requests 可识别的字典格式：{cookie['name']: cookie['value'] for cookie in driver.get_cookies()}
• 注意部分网站设了 HttpOnly 标志（如 CSRF token），这类 Cookie driver.get_cookies() 拿不到，不能靠它做后续请求校验

保存 Cookie 到文件再加载，要注意 domain 和 expiry 字段

直接用 json.dump() 存 driver.get_cookies() 返回的列表没问题，但加载回来给 requests 用时，requests 会忽略 domain、expiry、httpOnly 等字段 —— 它只认 name 和 value。所以别试图用 requests.cookies.RequestsCookieJar().set() 手动补全 domain，没用。

• 保存时用：json.dump(driver.get_cookies(), open('cookies.json', 'w'))
• 加载时只需提取 key-value：cookies = {c['name']: c['value'] for c in json.load(open('cookies.json'))}
• 如果目标 URL 域名和登录页不一致（比如登录页是 login.example.com，爬取页是 app.example.com），得确认 Cookie 的 domain 字段是否支持父域（如 .example.com），否则加载后可能无效

Selenium 登录后不关闭浏览器，还能继续用 driver.get() 吗？

可以，而且更稳。很多网站会检查 User-Agent、TLS 指纹、鼠标轨迹等，用同一个 driver 实例持续访问，比把 Cookie 提出来交给 requests 更不容易触发风控。

• 登录后不要调 driver.quit()，直接 driver.get('https://target-page.com/data')
• 若页面是 JS 渲染的，用 WebDriverWait 等待关键元素，别依赖 time.sleep()
• 注意内存占用：长时间运行要定期清理页面（driver.execute_script('window.localStorage.clear();')）或启用无头模式 + profile 复用
• 遇到 TimeoutException 或空白响应，先检查是否被重定向到登录页 —— 说明 Cookie 已过期，得重新登录

为什么有些网站即使 Cookie 正确，requests 仍被跳转到登录页？

因为除了 Cookie，还依赖 Header 中的 Referer、Origin，甚至自定义 Header（如 X-Requested-With: XMLHttpRequest）。更隐蔽的是反爬机制会验证 TLS 证书指纹、HTTP/2 流控特征，这些 requests 默认不具备。

• 至少补全：headers = {'User-Agent': driver.execute_script("return navigator.userAgent;")}
• 从 Selenium 中获取当前页面的 Referer：driver.current_url 作为上一页地址填入
• 如果接口返回 JSON 却提示 403，大概率是缺了 X-CSRFToken —— 这个值通常藏在 HTML 的 meta[name='csrf-token'] 里，得用 driver.find_element(By.XPATH, "//meta[@name='csrf-token']").get_attribute('content') 提取

好了，本文到此结束，带大家了解了《Python爬虫绕过登录验证方法》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！