Pythonrequests库使用教程详解

本文深入解析了Python中requests库的强大功能，助你轻松发送HTTP请求。从安装requests库开始，详细讲解了如何使用`get()`、`post()`等方法发送请求，并配合`params`、`headers`、`json`等参数传递数据。同时，教程还强调了使用`raise_for_status()`处理HTTP错误的重要性，以及如何利用Session对象保持会话、复用连接，从而提升效率和代码可读性。无论你是数据爬虫开发者，还是API调用者，掌握requests库的使用，都能让你在Python网络编程中更加得心应手。

答案：使用requests库可简洁发送HTTP请求。通过get()、post()等方法发送请求，配合params、headers、json等参数传递数据，利用raise_for_status()处理错误，使用Session保持会话、复用连接，提升效率与代码可读性。

Python中发送HTTP请求，最简洁、最符合直觉的方式莫过于使用requests库。它将底层HTTP连接的复杂性封装得很好，让我们能以一种非常“Pythonic”的风格来与Web服务交互，无论是获取数据、提交表单还是处理API调用，都变得异常轻松。

解决方案

使用requests库发送HTTP请求，核心在于调用其提供的各种请求方法，如get()、post()、put()、delete()等。首先，你得确保你的环境中安装了它：

pip install requests

安装完毕，我们就可以开始使用了。最常见的操作是发送GET请求来获取资源，比如从一个API端点拉取数据：

import requests

# 1. 发送一个简单的GET请求
try:
    response = requests.get('https://api.github.com/users/octocat')
    # 检查响应状态码，如果不是200，会抛出HTTPError
    response.raise_for_status()

    # 打印响应内容
    print("GET请求成功！")
    print(f"状态码: {response.status_code}")
    print(f"响应头: {response.headers['Content-Type']}")
    print(f"响应JSON数据: {response.json()}")

except requests.exceptions.HTTPError as errh:
    print(f"HTTP错误: {errh}")
except requests.exceptions.ConnectionError as errc:
    print(f"连接错误: {errc}")
except requests.exceptions.Timeout as errt:
    print(f"超时错误: {errt}")
except requests.exceptions.RequestException as err:
    print(f"其他请求错误: {err}")

print("-" * 30)

# 2. 发送一个POST请求，通常用于提交数据
# 假设我们想向一个虚拟的API提交一些数据
post_data = {
    'name': 'John Doe',
    'email': 'john.doe@example.com',
    'message': 'Hello from Python requests!'
}

# 对于JSON数据，使用json参数更方便，requests会自动设置Content-Type为application/json
try:
    post_response = requests.post('https://httpbin.org/post', json=post_data)
    post_response.raise_for_status()

    print("POST请求成功！")
    print(f"状态码: {post_response.status_code}")
    print(f"服务器收到的JSON数据: {post_response.json()['json']}")
except requests.exceptions.RequestException as err:
    print(f"POST请求错误: {err}")

print("-" * 30)

# 3. 发送带查询参数的GET请求
# 比如搜索GitHub仓库
params = {'q': 'requests+language:python', 'sort': 'stars', 'order': 'desc'}
try:
    search_response = requests.get('https://api.github.com/search/repositories', params=params)
    search_response.raise_for_status()
    print("带参数的GET请求成功！")
    print(f"第一个搜索结果的名称: {search_response.json()['items'][0]['full_name']}")
except requests.exceptions.RequestException as err:
    print(f"带参数的GET请求错误: {err}")

这段代码展示了requests库的几个核心功能：发送GET和POST请求，处理JSON数据，以及如何优雅地处理网络请求中可能出现的各种错误。你会发现，它真的把HTTP的复杂性隐藏得很好，让开发者能专注于业务逻辑本身。

处理请求中的常见错误和异常，确保代码健壮性

在实际的Web交互中，网络请求往往是脆弱的，各种意外情况层出不穷：网络中断、服务器无响应、请求超时、认证失败、API返回错误状态码等等。因此，仅仅发送请求是不够的，我们必须妥善处理这些潜在的错误，才能让我们的程序足够健壮。

requests库在这方面做得相当不错，它将不同类型的错误封装在requests.exceptions模块下。最基础的，我们通常会用try...except块来捕获这些异常。例如，requests.exceptions.ConnectionError会在无法连接到服务器时抛出，requests.exceptions.Timeout则在请求超时时触发。

但我个人觉得，最常用也最关键的一个是response.raise_for_status()。这个方法非常巧妙，它会检查响应的状态码。如果状态码表示一个客户端错误（4xx）或服务器错误（5xx），它就会自动抛出一个requests.exceptions.HTTPError。这省去了我们手动检查response.status_code >= 400的麻烦，让错误处理逻辑更加清晰。

举个例子，假设你正在调用一个需要认证的API，但你忘记传递Token，服务器很可能会返回一个401 Unauthorized。如果你没有使用raise_for_status()，你的代码可能会继续尝试解析响应体，最终因为响应体不是预期的JSON格式而崩溃。但有了它，程序会立即抛出HTTPError，我们就能在except块中捕获并处理，比如记录日志、重试或者通知用户。

import requests

# 尝试访问一个不存在的页面，预期会得到404
try:
    bad_response = requests.get('https://httpbin.org/status/404')
    bad_response.raise_for_status() # 这里会抛出HTTPError
    print("这个不应该被打印出来")
except requests.exceptions.HTTPError as e:
    print(f"捕获到HTTP错误: {e}")
    print(f"错误状态码: {e.response.status_code}")
except requests.exceptions.RequestException as e:
    print(f"捕获到其他请求错误: {e}")

# 模拟一个连接超时
try:
    # 设置一个非常短的超时时间，例如0.001秒
    requests.get('https://www.google.com', timeout=0.001) 
except requests.exceptions.Timeout as e:
    print(f"捕获到超时错误: {e}")
except requests.exceptions.RequestException as e:
    print(f"捕获到其他请求错误: {e}")

通过这样的组合，我们不仅能应对网络连接层面的问题，也能有效处理HTTP协议层面的错误，让程序在面对各种“不确定性”时，依然能保持优雅和稳定。

如何发送带参数、头部或认证信息的复杂请求？

很多时候，简单的GET或POST请求是远远不够的。真实的Web服务往往要求我们发送更复杂的请求，比如带查询参数、自定义HTTP头部、表单数据、JSON负载，甚至是各种形式的认证信息。requests库对此提供了非常直观的接口。

1. 查询参数 (Query Parameters): 前面已经提过，对于GET请求，我们可以通过params参数传递一个字典，requests会自动将其编码并附加到URL后面。

# 搜索GitHub仓库，指定语言和排序方式
params = {'q': 'python web framework', 'language': 'python', 'sort': 'stars', 'order': 'desc'}
response = requests.get('https://api.github.com/search/repositories', params=params)
print(f"查询参数请求URL: {response.url}")

这样，URL就会变成类似https://api.github.com/search/repositories?q=python+web+framework&language=python&sort=stars&order=desc。

2. 自定义HTTP头部 (Custom Headers): HTTP头部非常重要，它承载着请求的元数据，比如User-Agent（标识客户端类型）、Content-Type（请求体的媒体类型）、Authorization（认证凭证）等。通过headers参数，我们可以传递一个字典来设置这些头部。

headers = {
    'User-Agent': 'MyCustomPythonApp/1.0',
    'Accept': 'application/json',
    'X-Custom-Header': 'Hello from Python'
}
response = requests.get('https://httpbin.org/headers', headers=headers)
print("自定义头部请求响应:")
print(response.json()['headers']) # httpbin会回显所有收到的头部

这在与某些需要特定User-Agent或API Key的API交互时尤其有用。

3. 表单数据 (Form Data): 当我们需要模拟HTML表单提交时，通常是POST请求，并且数据以application/x-www-form-urlencoded格式发送。requests通过data参数处理这种场景，传入一个字典即可。

form_data = {
    'username': 'testuser',
    'password': 'testpassword'
}
response = requests.post('https://httpbin.org/post', data=form_data)
print("表单数据提交响应:")
print(response.json()['form']) # httpbin会回显收到的表单数据

4. JSON数据 (JSON Payload): 现代API通常期望请求体是JSON格式。requests提供了json参数，它会自动将Python字典序列化为JSON字符串，并设置Content-Type为application/json。这比手动json.dumps()并设置headers要方便得多。

json_payload = {
    'title': 'My New Post',
    'body': 'This is the content of my new post.',
    'userId': 1
}
response = requests.post('https://jsonplaceholder.typicode.com/posts', json=json_payload)
print("JSON数据提交响应:")
print(f"状态码: {response.status_code}")
print(response.json())

5. 认证 (Authentication):requests内置了对基本认证（Basic Authentication）和摘要认证（Digest Authentication）的支持。

• 基本认证:

  from requests.auth import HTTPBasicAuth
  response = requests.get('https://httpbin.org/basic-auth/user/passwd', auth=HTTPBasicAuth('user', 'passwd'))
  print(f"基本认证响应状态: {response.status_code}")
  print(response.json())

  更简洁的方式是直接传入一个元组：auth=('user', 'passwd')。

• OAuth等复杂认证: 对于OAuth或其他更复杂的认证机制，通常需要手动在headers中添加Authorization字段，或者使用专门的库（如requests-oauthlib）来生成认证头部。

这些选项的组合使用，让requests能够应对几乎所有常见的HTTP请求场景。它强大的功能和简洁的API，确实是Python进行网络编程的首选工具。

何时应该使用Requests会话（Session）以及它的优势？

在许多Web交互场景中，我们不仅仅是发送单个独立的请求。我们可能会进行一系列相关的请求，例如：先登录，然后访问用户个人资料，接着提交一个表单。在这些连续的请求中，通常需要保持一些状态，比如认证凭证（cookies）、自定义的头部信息，甚至是底层的TCP连接。这时候，requests.Session对象就显得非常重要和高效了。

我发现，很多初学者在进行一系列请求时，往往会重复地在每个requests.get()或requests.post()调用中设置相同的headers、params或cookies。这不仅代码冗余，而且效率低下，因为每次独立的请求都可能需要重新建立TCP连接，并重新进行SSL/TLS握手，这会带来不必要的延迟。

requests.Session的作用正是为了解决这些问题。当你创建一个Session对象后，它会为你维护以下几个关键特性：

1. 持久化Cookies: Session对象会自动在请求之间存储和发送cookies。这意味着如果你在登录请求中收到了认证cookie，后续所有通过该Session发送的请求都会自动携带这个cookie，无需手动管理。
2. 默认参数: 你可以为Session对象设置默认的headers、params、auth等。这些设置会自动应用到所有通过该Session发送的请求上，极大地简化了代码。
3. TCP连接复用: 这是性能上的一大优势。Session对象会尽可能地复用底层的TCP连接。这意味着在发送多个请求到同一个主机时，不需要每次都重新建立连接，从而减少了网络延迟和资源消耗。尤其是在高并发或对延迟敏感的应用中，这一点至关重要。

让我们通过一个例子来看看Session的实际应用：

import requests

# 创建一个Session对象
s = requests.Session()

# 为Session设置默认的User-Agent头部
s.headers.update({'User-Agent': 'MyPersistentPythonClient/1.0'})

# 1. 模拟登录，获取cookies
# 假设这是一个登录接口，成功后会返回认证cookie
login_url = 'https://httpbin.org/cookies/set/sessioncookie/12345'
login_response = s.get(login_url)
print(f"登录响应状态码: {login_response.status_code}")
print(f"Session中的Cookies (登录后): {s.cookies.get('sessioncookie')}")

# 2. 访问一个需要认证的页面
# 这个请求会自动带上Session中存储的cookie
protected_url = 'https://httpbin.org/cookies'
protected_response = s.get(protected_url)
print(f"访问受保护页面响应状态码: {protected_response.status_code}")
print(f"受保护页面收到的Cookies: {protected_response.json()['cookies']}")

# 3. 发送一个POST请求，它也会使用Session的默认头部
post_data = {'item': 'new_product'}
post_response = s.post('https://httpbin.org/post', data=post_data)
print(f"POST请求响应状态码: {post_response.status_code}")
print(f"POST请求使用的User-Agent: {post_response.json()['headers']['User-Agent']}")

# 清理Session，关闭连接（可选，通常在程序结束时自动进行）
s.close()

在这个例子中，s这个Session对象就像一个“记忆体”，它记住了登录时获取的sessioncookie，并在后续访问受保护页面时自动带上。同时，我们只设置了一次User-Agent，它就被所有通过s发出的请求所共享。更重要的是，在后台，requests会尝试复用与httpbin.org之间的TCP连接，从而提升了效率。

总而言之，当你需要进行一系列相互关联的HTTP请求，或者对性能有较高要求时，requests.Session是你的不二之选。它能让你的代码更简洁、更高效，并且更好地模拟真实用户的浏览行为。

终于介绍完啦！小伙伴们，这篇关于《Pythonrequests库使用教程详解》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识，快来关注吧！