Python爬虫登录网站技巧分享

本文深入解析了Python爬虫在抓取需登录网站时如何安全、可靠地复用浏览器已登录的Cookie，指出直接复制开发者工具中的Cookie字符串往往因SameSite、HttpOnly限制或User-Agent/TLS指纹校验而失败；推荐采用browsercookie3库自动读取并解密Chrome/Firefox/Edge本地加密的Cookies数据库，结合requests.Session实现会话自动管理与动态Cookie更新，同时提醒读者注意请求头（如User-Agent、Referer）、JavaScript生成的隐藏字段及CDN反爬等常见陷阱，强调真正有效的登录态复用依赖对真实网络请求链路的细致分析而非简单搬运Cookie。

登录后怎么把浏览器 Cookie 传给 Python 请求

直接拿浏览器开发者工具里复制的 Cookie 字符串发请求，大概率会失败——网站通常校验 SameSite、HttpOnly 标志，或绑定 user-agent 和 TLS 指纹。更可靠的做法是复用浏览器当前会话的 Cookie 缓存，而不是手动拼接。

核心思路：让 Python 的 requests 使用和浏览器一致的 Cookie 存储路径（如 Chrome 的 Default/Cookies SQLite 文件），读取已登录态的加密 Cookie。

• Chrome / Edge 用户：Cookie 存在 %LOCALAPPDATA%\Google\Chrome\User Data\Default\Cookies（Windows）或 ~/Library/Application Support/Google/Chrome/Default/Cookies（macOS）
• 需要先关闭对应浏览器进程（否则 SQLite 被锁，读取失败）
• Cookie 值是 AES 加密的（Windows 用 DPAPI，macOS 用 Keychain，Linux 用 libsecret），不能直接读明文；必须调用系统 API 解密
• 推荐用 browsercookie3 库自动处理解密逻辑，它已封装各平台适配

用 browsercookie3 自动提取已登录 Cookie

browsercookie3 是目前最省心的方案，它不依赖 Selenium，也不抓包，纯读取本地 Cookie 数据库并解密。安装后一行代码就能拿到带登录态的 requests.Session。

实操步骤：

• 运行 pip install browsercookie3
• 确保目标网站已在 Chrome（或 Firefox/Edge）中完成登录且未退出
• 关闭所有 Chrome 窗口（包括后台进程，可在任务管理器里确认 chrome.exe 是否还存在）
• Python 中这样用：

import requests
import browsercookie3
<h1>自动读取 Chrome 的登录 Cookie（支持 Firefox/Edge 需指定函数名）</h1><p>cj = browsercookie3.chrome()  # 或 browsercookie3.firefox()</p><p>session = requests.Session()
session.cookies.update(cj)</p><h1>现在发请求就带着有效登录态</h1><p>resp = session.get("<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq5roGCUgXuytMyero6Kn83GjHPXkraZo5qYYKa8eXauxoCCpomRg6Ou3LOifauF0L6IgpiFp7alh7qCm6-cdWe-poWpf42gbbSqu7KCZITfsWaGlZHdvqOHt21t' rel='nofollow'>https://example.com/dashboard</a>")
print(resp.status_code)  # 200 表示成功
</p>

requests.Session 为什么比 requests.get 更关键

很多新手直接对每个 requests.get(url, cookies=...) 单独传 Cookie，这会丢失会话维持所需的动态字段（比如 _xsrf、sessionid 更新、重定向跳转中的 Cookie 合并）。网站登录态往往依赖多轮响应头里的 Set-Cookie 自动更新。

• requests.Session() 会自动管理 Cookie jar，接收服务端返回的 Set-Cookie 并合并进后续请求
• 手动传 cookies= 参数是“只读”行为，不会更新，下次请求仍用旧值
• 尤其注意：某些网站登录后会立即跳转（302），再返回新 Cookie；不用 Session 就抓不到这个关键更新

常见失败原因和绕过技巧

即使 Cookie 正确，也可能返回 403 或跳回登录页——这不是 Cookie 无效，而是服务端做了额外校验。

• 检查请求头是否缺失 User-Agent：Chrome 默认值和 requests 默认值不同，加一句 session.headers.update({"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36..."})
• 某些网站校验 Referer：比如从 /login 跳转到 /dashboard，首次请求需带 Referer: https://example.com/login
• JavaScript 渲染的 Token（如 __RequestVerificationToken）无法从 Cookie 获取，得先 GET 登录页，用 BeautifulSoup 提取隐藏字段再 POST
• 如果网站用 Cloudflare 或 Akamai，光有 Cookie 不够，还需模拟完整浏览器指纹（这时就得上 playwright 或 undetected-chromedriver）

真正难的不是“怎么传 Cookie”，而是识别哪些字段是静态缓存的、哪些是每次请求动态生成的、哪些校验根本绕不过去——得看响应头、Network 面板里的真实请求链路，而不是只盯着登录按钮点一下就完事。

以上就是《Python爬虫登录网站技巧分享》的详细内容，更多关于的资料请关注golang学习网公众号！