登录
首页 >  文章 >  python教程

Python异步编程：asyncio实现并发请求

时间：2026-03-14 15:00:47 288浏览 收藏

本文深入讲解了如何利用Python的asyncio框架高效实现并发网络请求，重点围绕协程与事件循环的核心机制，结合aiohttp异步HTTP客户端、Semaphore限流控制、精细化异常捕获及超时管理等实战要点，帮助开发者在I/O密集型场景（如批量爬取、API聚合）中显著提升请求吞吐量、降低资源开销，并规避服务器限流与连接异常风险——掌握这些技巧，你就能轻松将耗时数秒的串行请求压缩至毫秒级并发执行。

Python并发请求如何实现_asyncio网络编程

Python中实现并发网络请求，asyncio 是最主流、高效的方式，核心在于用 协程（coroutine）+ 事件循环（event loop） 替代多线程/多进程的开销，特别适合 I/O 密集型场景（如大量 HTTP 请求）。

用 aiohttp 发起并发 HTTP 请求

aiohttp 是 asyncio 生态中最常用的异步 HTTP 客户端。它不阻塞事件循环，可同时发起数十甚至数百个请求而无需创建新线程。

  • 安装：pip install aiohttp
  • 必须用 async with 创建 ClientSession，复用连接池提升性能
  • 每个请求用 await session.get()，而非 requests.get()
  • 所有请求协程需通过 asyncio.gather() 或 asyncio.create_task() 并发调度

基础并发示例（获取多个 URL 状态码）

以下代码同时请求 5 个网址，耗时远低于同步串行执行：

import asyncio
import aiohttp
<p>async def fetch_status(url):
async with aiohttp.ClientSession() as session:
async with session.get(url, timeout=5) as resp:
return url, resp.status</p><p>async def main():
urls = [
'<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq5roGCUgXuytMyerpV6iZXHe3vUmsyZr5vTk6a8eYanvpGjpn2MhqKu3LOijnmMlbN4cpSSt89pkqp5qLBkep6yo6Nkf42hpLLdyqKBrIXRsot-lpHdz3Y' rel='nofollow'>https://httpbin.org/delay/1</a>',
'<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq5roGCUgXuytMyerpV6iZXHe3vUmsyZr5vTk6a8eYanvpGjpn2MhqKu3LOijnmMlbN4cpSSt89pkqp5qLBkep6yo6Nkf42hpLLdyqKBrIXRsot-lpHdz3Y' rel='nofollow'>https://httpbin.org/delay/1</a>',
'<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq5roGCUgXuytMyerpV6iZXHe3vUmsyZr5vTk6a8eYanvpGjpn2MhqKu3LOijnmMlbN4cpSSt89pkqp5qLBkep6yo6Nkf42hpLLdyqKBrIXRsot-lpHdz3Y' rel='nofollow'>https://httpbin.org/delay/1</a>',
'<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq5roGCUgXuytMyerpV6iZXHe3vUmsyZr5vTk6a8eYanvpGjpn2MhqKu3LOijnmMlbN4cpSSt89pkqp5qLBkep6yo6Nkf42hpLLdyqKBrIXRsot-lpHdz3Y' rel='nofollow'>https://httpbin.org/delay/1</a>',
'<a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq5roGCUgXuytMyerpV6iZXHe3vUmsyZr5vTk6a8eYanvpGjpn2MhqKu3LOijnmMlbN4cpSSt89pkqp5qLBkep6yo6Nkf42hpLLdyqKBrIXRsot-lpHdz3Y' rel='nofollow'>https://httpbin.org/delay/1</a>'
]
tasks = [fetch_status(url) for url in urls]
results = await asyncio.gather(*tasks)
for url, status in results:
print(f'{url} → {status}')</p><h1>运行</h1><p>asyncio.run(main())
</p>

控制并发数量，避免目标服务器拒绝或限流

无限制并发可能触发 429（Too Many Requests）或连接超时。推荐用 asyncio.Semaphore 限制最大并发数：

  • 初始化 semaphore = asyncio.Semaphore(10)，表示最多 10 个请求同时进行
  • 每个请求前加 async with semaphore:，自动排队等待空闲许可
  • 配合 asyncio.create_task() 可更灵活地管理任务生命周期

错误处理与超时必须显式设置

异步请求不会自动抛出 ConnectionError 或 TimeoutError，需主动捕获：

  • 用 try/except 包裹 await 表达式，捕获 aiohttp.ClientError、asyncio.TimeoutError
  • 为 session.get() 显式传入 timeout=aiohttp.ClientTimeout(total=10)
  • 失败请求可记录日志、重试（建议用 tenacity 库做指数退避）

今天关于《Python异步编程：asyncio实现并发请求》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！

资料下载
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>