首页 > 文章 > python教程

Python爬虫请求失败自动重试方法

时间：2025-11-16 21:27:45 227浏览收藏

**Python爬虫请求失败自动重试设置：提升爬虫稳定性的关键技巧** 在进行Python爬虫开发时，网络波动或服务器异常导致请求失败是常见问题。本文深入探讨如何通过设置自动重试机制，有效提升爬虫的稳定性与健壮性。主要介绍三种实用方法：利用`requests`库配合`urllib3`的重试机制，通过配置`HTTPAdapter`实现指定状态码和请求方法的自动重试，这是生产环境推荐的稳定方案；运用`tenacity`库进行更灵活的通用重试控制，支持任意函数的指数退避重试；以及手动结合`try-except`与循环实现重试逻辑，便于调试和自定义。合理设置重试参数，避免对目标服务器造成不必要的压力，是优化爬虫性能的重要环节。

使用requests配合urllib3的重试机制是提高爬虫稳定性的常见方法，通过配置HTTPAdapter实现自动重试。示例中定义create_session_with_retry函数，利用Retry类设置总重试次数、触发重试的状态码列表、允许重试的请求方法及退避因子。tenacity库提供更灵活的重试控制，支持任意函数的指数退避重试，适用于复杂场景。对于简单需求，可手动结合try-except与循环实现重试逻辑，便于调试。生产环境推荐使用requests+urllib3组合，合理设置重试参数以避免对服务器造成压力。

Python爬虫怎样使用异常重试机制_Python爬虫请求失败自动重试的设置方法

爬虫在请求网页时，常会遇到网络波动、目标服务器响应慢或临时封禁等问题。为提高稳定性，加入异常重试机制非常必要。Python中可通过多种方式实现请求失败后的自动重试。

使用requests配合urllib3的重试机制

requests库底层依赖urllib3，可以通过配置HTTPAdapter来启用连接重试功能。这是最常见且稳定的方法。

以下是一个设置请求重试的示例：

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry
def create_session_with_retry(retries=3, backoff_factor=0.5):
session = requests.Session()
retry_strategy = Retry(
total=retries,                    # 总重试次数（包含首次请求）
status_forcelist=[429, 500, 502, 503, 504],  # 遇到这些状态码时重试
method_whitelist=["GET", "POST"],             # 允许重试的请求方法
backoff_factor=backoff_factor                # 重试间隔时间增量
)
adapter = HTTPAdapter(max_retries=retry_strategy)
session.mount("http://", adapter)
session.mount("https://", adapter)
return session
使用示例
session = create_session_with_retry(retries=3)
try:
response = session.get("https://httpbin.org/status/500")
print(response.status_code)
except requests.exceptions.RequestException as e:
print(f"请求失败: {e}")

说明：

total：控制最大尝试次数，包括第一次请求。
status_forcelist：指定哪些HTTP状态码触发重试。
backoff_factor：用于计算重试延迟，公式为：{backoff factor} * (2 ** (retry count - 1))。

使用tenacity库进行通用重试控制

tenacity是一个更灵活的Python重试库，支持任意函数的重试，不限于网络请求。

from tenacity import retry, stop_after_attempt, wait_exponential
import requests
@retry(stop=stop_after_attempt(3), wait=wait_exponential(multiplier=1, max=10))
def fetch_url(url):
print(f"正在请求: {url}")
response = requests.get(url, timeout=5)
response.raise_for_status()
return response
调用
try:
res = fetch_url("https://httpbin.org/status/500")
print(res.status_code)
except requests.exceptions.RequestException as e:
print(f"最终失败: {e}")

特点：

stop_after_attempt(n)：最多尝试n次。
wait_exponential：指数退避策略，避免频繁请求。
可结合多种条件，如异常类型过滤（retry_if_exception_type）。

手动捕获异常并循环重试

对于简单场景，可以直接使用try-except加循环实现重试逻辑。

import requests
import time
def get_with_retry(url, max_retries=3, delay=1):
for i in range(max_retries):
try:
response = requests.get(url, timeout=5)
if response.status_code == 200:
return response
else:
print(f"状态码异常: {response.status_code}，第{i+1}次尝试")
except requests.exceptions.RequestException as e:
print(f"请求出错: {e}，第{i+1}次尝试")
    if i < max_retries - 1:
        time.sleep(delay * (2 ** i))  # 指数等待
return None
使用
resp = get_with_retry("https://example.com")
if resp:
print("请求成功")
else:
print("最终失败")

这种方法便于调试和自定义逻辑，适合小型项目或学习用途。

基本上就这些。根据项目复杂度选择合适的重试方案，推荐生产环境使用requests+urllib3组合，兼顾性能与可控性。重试机制虽好，也要注意设置合理次数和间隔，避免对目标服务器造成压力。

本篇关于《Python爬虫请求失败自动重试方法》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！

自动重试 Requests Python爬虫 Tenacity urllib3