Go bufio.Scanner 怎么读取超过 64K 的单行数据

bufio.Scanner 默认允许的 token 大小上限是 64 * 1024 字节，因此按行扫描时，一行接近或超过 64K 就可能停止并返回 token 过长错误。解决方法是在第一次 Scan 之前调用 Scanner.Buffer(initialBuf, max)，把 max 设置为业务真正允许的最大单行字节数。

不要把 max 无限制调大。Scanner 会在需要时扩容到足以容纳 token，最大行长度、并发 Scanner 数量和进程内存预算应一起考虑。

为什么默认会卡在 64K 附近

Scanner 每次返回一个 token。使用默认的 ScanLines 时，一行就是一个 token；默认常量 MaxScanTokenSize 为 64 KiB。实际可容纳内容还会受换行符和内部缓冲影响，所以不能把 65536 当成精确的可用正文长度。

Scanner 的优势是 API 简洁、自动处理分隔和常见读取错误，适合 token 尺寸有明确上限的日志、CSV 单行、协议帧等。若输入可能出现任意大的单行，Scanner 的模型就不再合适。

在第一次 Scan 前调用 Buffer

下面把初始缓冲设为 64 KiB，把允许的最大单行设为 2 MiB。初始切片用于减少常见行的分配，maxLineSize 才是决定超长 token 是否被接受的上限。

package main

import (
    "bufio"
    "fmt"
    "io"
)

const maxLineSize = 2 * 1024 * 1024 // 业务允许的最大单行：2 MiB

func readLongLines(r io.Reader) error {
    scanner := bufio.NewScanner(r)

    // Buffer 必须在第一次 Scan 前调用；初始缓冲不等于最终上限。
    scanner.Buffer(make([]byte, 64*1024), maxLineSize)
    scanner.Split(bufio.ScanLines)

    for scanner.Scan() {
        line := scanner.Bytes()
        // Bytes 只在下一次 Scan 前有效，需要长期保存时必须复制。
        fmt.Printf("本行长度：%d\n", len(line))
    }

    // Scan 返回 false 既可能是 EOF，也可能是读取或 token 过长错误。
    if err := scanner.Err(); err != nil {
        return fmt.Errorf("扫描输入失败: %w", err)
    }
    return nil
}

Buffer 若在扫描已经开始后调用会触发 panic，因此要把它与 NewScanner 放在一起初始化。最大值按字节计算，不是字符数；UTF-8 中文通常占多个字节，按字符估算容易低估。

max 应该设置多大

Scanner 并不会一创建就分配 max 指定的全部内存，但遇到长 token 时会持续扩容。若同时处理 100 个文件，每个扫描器都碰到 2 MiB 长行，缓冲峰值就可能达到数百 MiB；因此并发量也必须受控。

什么时候改用 bufio.Reader

如果单行没有可信上限，或者你需要精确控制分段、保留超长记录并继续读取，使用 bufio.Reader 更合适。ReadString('\n') 和 ReadBytes('\n') 简单，但仍会为整行分配内存；要真正分段处理，可用 ReadSlice('\n')，遇到 bufio.ErrBufferFull 时消费当前片段，再继续读取。

func readUnboundedLine(r *bufio.Reader) error {
    for {
        part, err := r.ReadSlice('\n')
        // 每个片段立即处理，避免把未知长度的一整行聚合到内存。
        consume(part)

        if err == bufio.ErrBufferFull {
            continue // 当前行尚未结束，继续读取下一片。
        }
        if err == io.EOF {
            return nil
        }
        if err != nil {
            return fmt.Errorf("分段读取失败: %w", err)
        }
    }
}

常见问题

只把初始缓冲改大，为什么仍然报 token too long？因为第二个参数 max 才是 token 上限；初始缓冲只决定 Scanner 是否需要再次分配。

Scanner.Text 和 Scanner.Bytes 选哪个？Text 返回字符串副本，便于保存；Bytes 避免一次字符串分配，但内容会在下一次 Scan 后失效，需要长期保存时应复制。

发生超长 token 错误后能否继续扫描下一行？不应依赖继续恢复。Scanner 停止后可能已经从底层 Reader 读取了更多数据；需要精确恢复位置或分段处理时，应改用 bufio.Reader。