登录
推荐 文章 Go 技术 课程 下载 专题 AI
首页 >  文章 >  python教程

Python asyncio.Barrier 怎样让多个协程在阶段边界同时放行

来源:17golang原创

时间:2026-11-19 18:10:07 377浏览 收藏

当一组异步任务必须“都准备好以后再一起进入下一阶段”时,asyncio.Barrier 比手写计数器更直接。先把参与者数量传给 parties,每个协程在同一个阶段调用 wait();人数到齐后,等待者会同时放行,而且同一个 Barrier 可以用于下一轮。它不是队列,也不是线程同步器:参与数量必须稳定,取消和异常必须有收尾路径。

本文解决:如何设置 parties、用 async with 通过阶段闸门、处理取消导致的缺席,以及用外层超时避免任务永久等待。

先确定 parties 等于哪一批任务

asyncio.Barrier(parties) 中的 parties 不是并发上限,而是每一轮必须到达闸门的任务数。例如三步流水线有三个固定 worker,只有三个 worker 都完成准备动作后,才适合设置 parties=3。

它解决的是阶段同步:任务 A、B、C 到达 wait() 后一起继续。它不负责保存业务数据,也不会替你处理任务失败。如果一轮中实际只创建了两个任务,却仍然设置为 3,剩余任务会一直等到超时或被中止。

用 async with 让一批任务同时越过关卡

Barrier 支持 wait(),也支持更适合资源边界表达的 async with。下面的示例把三个 worker 放在同一个阶段闸门前;position 是本轮返回的唯一位置编号,可让一个任务承担一次性的记录动作。

import asyncio

async def worker(name: str, barrier: asyncio.Barrier) -> None:
    # 这里代表每个协程各自完成准备工作。
    await asyncio.sleep(0.05)
    try:
        # 三个任务都进入这里后,Barrier 才会同时放行。
        async with barrier as position:
            if position == 0:
                # 只有一个任务负责记录阶段切换,避免重复写日志。
                print("phase-ready")
            print(f"{name}: next-phase")
    except asyncio.BrokenBarrierError:
        # 闸门被中止时,任务应转入统一的失败收尾路径。
        print(f"{name}: barrier-broken")

async def main() -> None:
    # parties 必须等于这一轮实际会到达闸门的任务数。
    barrier = asyncio.Barrier(3)
    tasks = [
        asyncio.create_task(worker(name, barrier))
        for name in ("worker-a", "worker-b", "worker-c")
    ]
    # 等待所有任务结束,避免主协程提前退出。
    await asyncio.gather(*tasks)

asyncio.run(main())
三个协程汇入 asyncio Barrier 后同时进入下一阶段的结构说明图
图1:阶段闸门说明图,三个协程全部到达后才同时进入下一阶段。

这里的关键不是三个任务执行时间相同,而是它们都必须到达同一个边界。某个任务先到会暂时等待;最后一个任务到达后,本轮等待者一起继续。async with 退出后,Barrier 可以继续用于下一阶段,但每一轮仍要保证参与数量和任务集合一致。

取消或异常时怎么避免永远等待

阶段同步最容易出问题的地方是“有人不会再到达”。如果一个 worker 被取消,其他 worker 仍可能留在 filling 状态。业务代码应在协调者或统一异常处理路径中调用 await barrier.abort(),让当前和后续等待者收到 BrokenBarrierError,然后由外层取消剩余任务、释放资源。

async def run_stage(barrier: asyncio.Barrier) -> None:
    try:
        # 等待这一轮的固定参与者全部到达。
        await barrier.wait()
    except asyncio.CancelledError:
        # 当前任务退出时打破闸门,避免其它任务无限等待。
        await barrier.abort()
        raise
    except asyncio.BrokenBarrierError:
        # 其它任务已经触发 abort(),这里只做统一收尾。
        return

async def guarded_wait(barrier: asyncio.Barrier) -> None:
    try:
        # Barrier 方法本身没有 timeout 参数,用外层 wait_for 控制上限。
        await asyncio.wait_for(run_stage(barrier), timeout=2.0)
    except asyncio.TimeoutError:
        # 超时也要中止闸门,再由调用方取消同一批任务。
        await barrier.abort()
协程取消后通过 abort 和 BrokenBarrierError 进入外层收尾的结构说明图
图2:异常收尾说明图,缺席任务触发 abort() 后,等待者沿错误路径退出。

不要把 abort() 当成“重试当前阶段”。它表示这一个 Barrier 已经进入 broken 状态;如果要重新组织参与者,应先完成任务取消与资源清理,再创建新的 Barrier,或者在明确可控的情况下调用 reset()。重试前要确认旧任务没有继续持有同一批资源。

上线前检查复用和线程边界

检查点建议
参与数量parties 与每轮实际到达任务数严格一致
超时用 asyncio.wait_for() 包住等待,并在超时路径调用 abort()
复用只有当下一轮仍有固定参与者时复用同一个 Barrier
线程边界asyncio 同步原语不是线程安全的,跨线程要改用线程同步原语

可以把 Barrier 理解成一扇阶段门:门前是固定数量的准备任务,门后是下一阶段工作。真正的工程重点是为“最后一个任务永远不到达”设计可见的超时和中止路径,而不是只把 parties 调大。

常见问题

Barrier 能不能代替 asyncio.Queue?

不能。Barrier 只同步阶段边界,不保存项目、不分配消费者,也不提供背压;生产者消费者模型应使用队列。

一个任务取消后,其他任务会自动继续吗?

不要这样假设。取消会改变等待者数量,但业务仍需决定是否中止这一轮;对固定参与者的流程,通常应显式调用 abort() 并让外层统一收尾。

声明:本文转载于:17golang原创 如有侵犯,请联系study_golang@163.com删除
相关阅读
更多>
最新阅读
更多>
课程推荐
更多>