Go 保存 Scanner.Bytes 后为什么前面的行会变化

如果把 scanner.Bytes() 直接 append 到结果切片，随后继续调用 Scan()，前面保存的“行”可能一起变掉。这不是 append 失效，而是 Scanner.Bytes 返回了 Scanner 当前 token 的底层字节视图；下一次扫描允许复用这块内存。需要跨过下一次 Scan 继续使用时，必须主动复制，或者直接转成字符串。

为什么保存 Scanner.Bytes 会让前面的行变掉

[]byte 是一个切片描述符，里面保存指针、长度和容量。Bytes() 给出的切片通常指向 Scanner 的内部缓冲区，所以把它放进 [][]byte 只是保存了多个切片头，未必保存了多份字节。下一次 Scan() 读入新 token 时，内部缓冲区可以复用，旧切片看到的内容也就随之改变。

下面这段写法最容易触发问题：

var lines [][]byte
for scanner.Scan() {
    lines = append(lines, scanner.Bytes()) // 只保存视图，不复制字节
}
// lines 中的元素可能指向同一块被复用的 Scanner 缓冲区

文档明确说明，底层数组可能在后续 Scan 调用中被覆盖。它的好处是当前 token 可以零分配地交给解析函数；代价是不能把返回值当成永久数据。

怎么把每一行安全保存下来

最小修复取决于结果的类型。文本行通常直接转换为 string；如果后面还要按字节解析，则复制出独立的 []byte。两者都要放在下一次 Scan() 之前完成。

func collectLines(r io.Reader) ([]string, error) {
    scanner := bufio.NewScanner(r)
    lines := make([]string, 0, 16)

    for scanner.Scan() {
        // 转成 string 会创建独立字符串，脱离 Scanner 的复用缓冲区。
        lines = append(lines, string(scanner.Bytes()))
    }
    if err := scanner.Err(); err != nil {
        // Scan 返回 false 也可能是 I/O 错误，不能只看循环结束。
        return nil, err
    }
    return lines, nil
}

如果必须保存原始字节，可以这样写：

for scanner.Scan() {
    // Clone 返回独立数组；后续 Scan 不会覆盖它。
    line := bytes.Clone(scanner.Bytes())
    saved = append(saved, line)
}

对于只在当前循环里判断前缀、切分字段或解码的逻辑，不需要保存，直接使用 scanner.Bytes() 反而更省分配。关键是不要把这个视图交给异步任务、缓存或下一轮仍会访问的结构。

什么时候该改用 Scanner.Text 或 bufio.Reader

Scanner.Text() 返回一个新分配的字符串，适合文本收集，代码也更直观；它不是“把 Bytes 延长生命周期”的技巧，而是明确创建稳定值。若只是把 token 交给一个同步函数处理，Bytes() 更适合避免无意义的分配。

默认 Scanner 的最大 token 缓冲约为 64 KiB。可以在第一次 Scan 前调用 scanner.Buffer(make([]byte, 32*1024), 1024*1024) 调大上限，但这只解决长度边界，不会改变 Bytes() 的复用语义；保存结果仍然要复制。

一个可直接复用的安全收集函数

package main

import (
    "bufio"
    "bytes"
    "fmt"
    "io"
    "strings"
)

func collectBytes(r io.Reader) ([][]byte, error) {
    scanner := bufio.NewScanner(r)
    scanner.Buffer(make([]byte, 32*1024), 1024*1024) // 允许较长行，但仍需复制
    result := make([][]byte, 0, 8)

    for scanner.Scan() {
        // Clone 让每个结果拥有独立底层数组，空行也会被保留。
        result = append(result, bytes.Clone(scanner.Bytes()))
    }
    if err := scanner.Err(); err != nil {
        return nil, err
    }
    return result, nil
}

func main() {
    rows, err := collectBytes(strings.NewReader("alpha\nbeta\n"))
    if err != nil {
        panic(err)
    }
    for _, row := range rows {
        fmt.Printf("%q\n", row)
    }
}

这个函数把“Scanner 的临时视图”和“调用方长期持有的数据”分开了。若输入可能包含超过上限的单行，Err() 会暴露扫描失败；这时不要悄悄返回已收集的半份结果，除非业务明确接受部分成功。

常见问题

Scanner.Bytes 和 Scanner.Text 有什么区别？

Bytes() 返回可能被下一次扫描覆盖的字节视图，不主动分配；Text() 返回新字符串，适合需要跨轮次保存的文本。

只把 scanner.Bytes 放进 interface{} 还安全吗？

不安全。放进接口只改变了外层类型，没有复制底层数组；只要后续还会调用 Scan()，仍应先复制。

调用 scanner.Buffer 能解决前面行被修改吗？

不能。Buffer 调整可用容量和最大 token 长度，不能把 Bytes() 变成拥有独立存储的返回值。