Python异步任务执行：asyncio.gather全解析

本文深入解析了 Python 中 `asyncio.gather` 的核心用法与实战陷阱，重点阐明它专为多个独立、无依赖的协程任务（如并发 HTTP 请求、文件读取）而设计，强调必须传入已调用的协程对象、严禁混入同步阻塞操作，并强烈推荐启用 `return_exceptions=True` 以精准定位失败任务；同时对比了 `create_task` 与 `ensure_future` 的适用边界，指出前者是现代异步编程的首选，还揭示了高并发下连接池耗尽、事件循环被卡死等高频问题的根源与解法——从 `Semaphore` 限流到异步日志适配，帮你避开 asyncio 并发路上几乎所有“静默失效”和“一炸全崩”的坑。

asyncio.gather 适合什么场景

它适合「多个独立、无依赖、可并行发起」的协程任务，比如同时发 5 个 HTTP 请求、读取 3 个文件、调用多个微服务接口。asyncio.gather 会并发启动所有任务，并等待全部完成，返回结果列表（顺序与传入一致）。它不是调度器，不控制执行时机或优先级，也不重试、不超时——这些得自己加。

常见错误现象：RuntimeWarning: coroutine 'fetch_data' was never awaited，本质是把协程对象直接传进 gather 而没调用；或者误以为 gather 能自动处理同步阻塞函数（比如 time.sleep），结果整个事件循环被卡住。

• 必须传入已调用的协程对象（即 fetch(url)，不是 fetch）
• 不能混入同步阻塞操作；要用 asyncio.to_thread 或 loop.run_in_executor 包装
• 若某任务抛异常，默认全盘失败；加 return_exceptions=True 可让异常作为结果项返回

asyncio.create_task 和 asyncio.ensure_future 的区别

asyncio.create_task 是推荐方式，明确表示“现在就调度这个协程”，返回 Task 对象，可随时 cancel() 或检查状态；asyncio.ensure_future 更底层，能接受协程、Future、甚至 Task，但语义模糊，容易误用（比如传入普通函数不报错但无效）。

使用场景：需要提前启动任务、做条件取消、或在循环中动态增减任务时，用 create_task；仅在兼容旧代码或封装通用工具函数时才考虑 ensure_future。

• create_task 必须在事件循环运行中调用，否则报 RuntimeError: no running event loop
• ensure_future 对非协程输入（如 None）可能静默失败，调试困难
• 两者都不等同于 await；任务创建后仍需 await 才能获取结果

如何避免 asyncio.gather 吃掉关键异常

asyncio.gather 默认“一炸全崩”：只要一个协程 raise 异常，整个 gather 就中断，其余任务被取消。这在调试时极难定位哪一环出问题，尤其当任务数多、日志少时。

正确做法是始终加 return_exceptions=True，让异常也作为结果项返回，再逐个检查：

results = await asyncio.gather(
    fetch("https://a.com"), 
    fetch("https://b.com"), 
    return_exceptions=True
)
for i, r in enumerate(results):
    if isinstance(r, Exception):
        print(f"Task {i} failed: {r}")
    else:
        print(f"Task {i} succeeded: {len(r)} bytes")

• 不加 return_exceptions=True 时，无法区分是网络超时、JSON 解析失败，还是某个任务根本没启动
• 即使加了该参数，也要注意异常类型：TimeoutError 和 ClientConnectorError 处理策略不同
• 别在 gather 外层套 try/except 期望捕获所有错误——它只捕获第一个异常，其余已被丢弃

并发量太大导致连接池耗尽或服务拒绝

asyncio.gather 不限并发数，100 个请求会同时发出，极易触发目标服务限流（HTTP 429）、本地端口耗尽（OSError: [Errno 24] Too many open files），或 DNS 查询阻塞。

解决不是靠“换库”，而是加一层可控并发：用 asyncio.Semaphore 限制同时进行的任务数，或改用 asyncio.as_completed 配合队列做流式处理。

• 典型阈值：HTTP 客户端默认连接池一般为 10–100，建议并发控制在 10 以内起步
• Semaphore 必须在协程内 acquire()/release()，不能跨 await 忘记释放
• 别用 time.sleep 模拟节流——它会阻塞整个事件循环；改用 await asyncio.sleep

理论要掌握，实操不能落！以上关于《Python异步任务执行：asyncio.gather全解析》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！