首页 > 科技周边 > 人工智能

AI 批量推理为什么要隔离长短任务：Go 用优先级队列避免小请求被大任务拖住

来源：17golang原创

时间：2026-08-30 01:05:16 274浏览收藏

批量推理服务里，最先暴露的性能问题往往不是模型本身，而是任务排队方式：一个需要处理大量输入的 longTask 先进入队列，后面几个很快就能完成的 shortTask 只能干等。把队列从先进先出改成按任务代价排序，可以明显缩短短请求的等待路径，但也会引入公平性和取消处理的新边界。

要点速览

FIFO 只保证进入顺序，不保证短任务的响应时间；长任务排在前面会形成队头阻塞。
优先级应在入队时计算并保存在任务对象中，worker 只负责取出并执行。
Go 的 heap.Interface 能实现最小堆，但必须同步保护堆和唤醒 worker 的条件。
短任务优先不是无限插队；需要 aging、配额或独立队列，避免长任务长期饥饿。

队头阻塞从哪里开始

先看一个足够小的模拟：longTask 和两个 shortTask 共用 FIFO 队列。worker 每次只取队首任务，所以短任务的实际完成时间取决于前面那个长任务何时结束。

type Task struct {
    Name  string
    Units int
}

queue := []Task{
    {Name: "longTask", Units: 10},
    {Name: "shortTask", Units: 1},
    {Name: "shortTask", Units: 1},
}

for len(queue) > 0 {
    task := queue[0]
    queue = queue[1:]
    Run(task)
}

这里的 Units 只是调度估计，不是模型耗时承诺。只要队列顺序固定为 FIFO，shortTask 就必须进入 wait，等待 longTask 被 Run 消费。队列长度很短时也会发生这种问题，不能只盯着堆积数量。

AI 批量推理中 longTask 排在 FIFO 队首，两个 shortTask 沿 wait 路径等待的二维工程证据插画

先把任务代价变成可比较的 priority

隔离的第一步不是立刻扩容 worker，而是让任务携带调度依据。示例把估算输入量映射为 priority，数值越小越先取；真正业务里还可以加入租户配额、截止时间或重试次数，但这些字段必须有明确的单位和更新规则。

type InferenceTask struct {
    Name     string
    Units    int
    priority int
    index    int
}

func newTask(name string, units int) *InferenceTask {
    return &InferenceTask{
        Name: name, Units: units, priority: units,
        index: -1,
    }
}

priority 应在入队前生成，避免 worker 取任务时再访问外部模型或存储。调度器只比较已经存在的字段，推理执行仍由 Run 负责，这样排队逻辑和模型调用不会互相污染。

用 heap.Interface 让 worker 先取短任务

Go 的 container/heap 只要求实现一组接口方法，队列本身可以保持很薄。下面的 TaskHeap 只展示调度关系：Less 比较 priority，Push 和 Pop 维护堆，worker 取出任务后交给 Run。

type TaskHeap []*InferenceTask

func (h TaskHeap) Len() int { return len(h) }
func (h TaskHeap) Less(i, j int) bool {
    return h[i].priority

调用 heap.Init 后，heap.Pop 会把最小元素放到可弹出位置。示例没有把堆当成并发安全容器；如果生产代码同时有入队方和 worker，需要在外层用互斥锁保护堆，并通过条件变量或 channel 唤醒等待者。

AI 批量推理任务经由 heap.Interface 按 priority 排序，再由 worker 调用 Run 的二维数据路径插画

性能收益之外，公平性必须单独设计

短任务优先解决的是队头阻塞，不等于完成了调度设计。如果持续有新短任务进入，longTask 可能一直拿不到执行机会。最小的保护可以是等待时间 aging：任务等待一段时间后降低其有效 priority；或者给长任务保留固定 worker 配额。

策略	解决的问题	代价
按 Units 排序	短任务不被明显长任务挡住	长任务可能饥饿
aging	等待越久越容易被取出	需要记录入队时间并定期重排
长任务配额	保证批量任务仍有执行窗口	需要区分 worker 或队列
截止时间优先	保护明确的业务时限	时间估计错误会放大抖动

不要把所有因素粗暴加成一个数字后就结束。排队指标至少要分开记录等待时长、执行时长和取消数量，这样才能判断问题来自调度顺序还是模型调用。

验证 worker、取消和堆状态

验收时先用固定任务序列，不要用随机负载掩盖顺序。把 longTask 放在最前，再加入两个 shortTask，检查 worker 首次取出的是否是 priority 更小的任务；随后注入取消信号，确认被取消任务不会继续占用执行名额。

for h.Len() > 0 {
    task := worker(&h)
    if task == nil {
        break
    }
    if err := Run(ctx, task); err != nil {
        record(task.Name, err)
        continue
    }
    record(task.Name, nil)
}

检查点有三个：取出顺序符合 priority；Run 返回错误或取消后，worker 仍能继续消费下一项；堆为空时 worker 不会空转。只有这三项都成立，才有资格再比较并发数或模型耗时。

把调度优化收敛成可验收的边界

这类 AI 批量推理优化的落点不是“把 FIFO 换成堆”这么简单，而是把等待原因拆开：priority 决定谁先取，worker 决定谁执行，Run 决定执行是否成功，取消和 aging 决定系统是否能长期公平运行。先用固定任务验证顺序，再观察等待、执行和取消三类指标，调度改动才不会变成一次不可解释的扩容。