Go iter.Pull 怎样复用已有缓冲空间

想让 iter.Pull 复用已有缓冲空间，关键不是给 Pull 传一个 buffer，而是让消费方保留 slice 的容量：每轮用 dst[:0] 清空逻辑长度，再用 append 填回数据。iter.Pull 只负责把 iter.Seq 转成逐项调用的 next 和结束清理用的 stop；它不会替你管理业务 slice。

iter.Pull 不替你管理缓冲区

因此，所谓“复用”通常有两层含义：复用收集结果的 backing array，以及复用每轮处理的工作区。前者可以直接用 slice 三元关系控制；后者则要看元素是否仍引用生产者的内存，不能只看 cap 是否足够。

用 dst[:0] 保留容量收集一轮数据

下面的函数把序列收集到调用方提供的 dst 中。只要容量足够，下一次调用不会因为重新创建空 slice 而重新分配；容量不够时，append 仍会按 Go 的规则扩容，这也是正常的退化路径。

package main

import "iter"

// collectInto 把序列追加到已有 slice，保留调用方可复用的容量。
func collectInto[T any](dst []T, seq iter.Seq[T]) []T {
    // 只把长度归零，不丢弃底层数组；下一轮可继续复用 cap(dst)。
    dst = dst[:0]

    next, stop := iter.Pull(seq)
    // 即使中途 return，也要让生产者结束，避免留下未完成的迭代。
    defer stop()

    for {
        value, ok := next()
        if !ok {
            return dst
        }
        // 容量足够时这里直接写入原有 backing array。
        dst = append(dst, value)
    }
}

如果只是把一个序列追加到已有 slice，并不需要逐项控制读取节奏，Go 1.23 起还可以优先考虑 slices.AppendSeq(dst[:0], seq)。只有在两个序列需要交替取值、遇到条件就停止，或必须把“下一项”交给调用方时，iter.Pull 才更贴合任务。

并行拉取时复用工作区

iter.Pull 的典型用途是把两个 push iterator 转成可同步推进的 pull iterator。缓冲区仍由外层循环拥有，例如把每批 ID 写入一个已有的 batch，处理完再清空长度；不要把 next 和 stop 分别交给多个 goroutine 并发调用，官方文档明确不允许这样做。

package main

import "iter"

// pairBatch 同步读取两条序列，并复用 batch 保存当前批次。
func pairBatch[T any](left, right iter.Seq[T], batch []T) []T {
    // 复用批次缓冲区；如果后续代码要长期保存元素，需再复制。
    batch = batch[:0]

    nextLeft, stopLeft := iter.Pull(left)
    defer stopLeft()
    nextRight, stopRight := iter.Pull(right)
    defer stopRight()

    for {
        l, lok := nextLeft()
        r, rok := nextRight()
        if !lok || !rok {
            return batch
        }
        // 示例只保留左值；真实代码可在这里完成配对处理。
        _ = r
        batch = append(batch, l)
    }
}

这里的容量复用只说明内存管理策略，不代表两个序列长度相同；生产代码应按业务决定遇到一方提前结束时是返回、丢弃最后一项，还是记录不匹配。更重要的是，stop 要绑定到当前调用栈，而不是依赖调用者“记得稍后清理”。

复用空间时要防住切片别名

如果序列元素本身是 []byte、[]T 或包含切片字段的结构体，复用 backing array 可能让“当前值”和“下一轮值”共享内存。当前循环内只读、立即编码或立即写出通常可以借用；要放入缓存、返回给异步任务或跨轮保存，就必须创建副本。

// saveBytes 复制当前值，避免下一轮复用 backing array 后覆盖已保存内容。
func saveBytes(saved [][]byte, current []byte) [][]byte {
    // append 到 nil 会得到独立数组；不把 current 的底层数组直接交出去。
    owned := append([]byte(nil), current...)
    return append(saved, owned)
}

可以用下面的清单快速判断：

• 只在本轮使用：直接处理当前值，处理结束前不要把它交给异步任务。
• 要跨轮保存：用 append([]byte(nil), value...) 或等价的 copy 建立独立副本。
• 提前停止：已经拿到 next 就配套 defer stop()，即使预计会读完也不必依赖猜测。
• 并发消费：不要让多个 goroutine 同时调用同一组 next 或 stop。

相关问题

iter.Pull 会自动复用内部缓冲区吗

不要把它当作业务缓冲区 API。它负责 push/pull 迭代控制，业务结果的 slice 容量仍由调用方决定；需要复用时显式保留自己的 backing array。

什么时候不用 iter.Pull

只想把一个 iter.Seq 追加到已有 slice 时，优先使用 slices.AppendSeq(dst[:0], seq)；需要交替取值或逐项停止时再使用 Pull。

为什么提前 return 仍要 stop

生产者可能启动了 goroutine 或持有临时资源。stop 会让 yield 返回 false，给生产者完成清理的机会。

最终可以把规则压缩成一句话：iter.Pull 管“什么时候拿下一项”，dst[:0] 管“复用哪块业务空间”，而 copy 管“哪些值必须脱离共享内存长期保存”。