Go bytes.Buffer 怎么分批取出固定大小的数据

用 bytes.Buffer 分批取固定大小数据，关键是先检查 Len()，再调用 Next(batchSize)。因为 Next 会消费数据，剩余不足 batchSize 时直接调用会把尾部全部取走；如果还要等待下一次写入补齐，就应该让这段尾部继续留在 Buffer 中。

完整批次条件是 buf.Len() >= batchSize；循环只消费满足条件的批次，退出后 Buffer 中自然保留不足一批的数据。

先确定完整批次和尾部规则

我处理流式数据时，最容易踩的坑是“看到 Buffer 有数据就取”。如果每批要求 4 字节，而当前只有 3 字节，Next(4) 会把这 3 字节全部返回，后续新来的字节就无法和它们拼成完整批次。

因此把 Buffer 分成两个逻辑区域：左侧是若干完整批次，右侧是不足 batchSize 的待补尾部。每次写入后，只处理完整区域。

循环取出固定大小数据

下面的函数每次取一个完整批次，并同步交给回调处理。退出时不足一批的数据仍在原 Buffer 内，下一次写入后可以继续拼接。

func drainBatches(buf *bytes.Buffer, batchSize int, handle func([]byte) error) error {
    if batchSize = batchSize {
        // Len 足够时再消费，确保每批长度固定。
        batch := buf.Next(batchSize)
        if err := handle(batch); err != nil {
            return err
        }
    }
    return nil
}

这种写法适合定长记录、网络分帧、哈希分块和批量编码。回调应在返回前用完 batch，因为后续 Buffer 读写可能使该切片失效。

异步处理时复制批次

如果批次要放入 channel 或交给 goroutine，不能把 Next 返回的内部视图直接长期保存。先复制为独立切片，再交给异步消费者。

for buf.Len() >= batchSize {
    part := buf.Next(batchSize)

    // 异步消费者可能晚于下一次 Buffer 写入，因此复制数据。
    stable := bytes.Clone(part)
    jobs 

输入结束后处理不足一批的尾部

持续流中可以继续等待新数据；明确收到 EOF 后，则按业务规则收尾。文本上传可以接受最后一个短块，固定协议帧通常应报错，块加密或编码可能需要补齐。

if buf.Len() > 0 {
    // 示例策略：结束时允许提交最后一个短批次，并复制后保存。
    tail := bytes.Clone(buf.Next(buf.Len()))
    if err := handleFinal(tail); err != nil {
        return err
    }
}

不要在不知道协议含义时静默丢弃尾部。固定大小只是处理策略，最终完整性仍应由长度字段、校验和或上层结束标记确认。

常见问题

为什么不直接循环 Next(batchSize) 到空？

因为最后一次可能返回短批次并提前消费尾部，破坏后续拼接。需要固定长度时必须先检查 Len。

Next 会分配新切片吗？

不会为返回数据制作独立副本，它返回 Buffer 内部未读区的视图；需要独立所有权时使用 bytes.Clone。