bufio.Scanner 扩大 Token 上限的配置方法

读取日志、配置文件或一行一条的 JSON 时，bufio.Scanner 的默认限制很容易把问题暴露出来：短记录可以正常扫描，遇到一条特别长的记录却停止，并在 Err() 中得到 bufio.Scanner: token too long。解决办法不是修改 Scanner 的内部字段，而是在第一次调用 Scan 之前使用 Buffer 设置初始缓冲和允许的最大 token 大小。

先估算业务允许的单条记录上限，再调用 scanner.Buffer(make([]byte, 64*1024), maxToken)；配置必须发生在扫描开始之前，循环结束后仍要检查 scanner.Err()。

先确认故障边界：Scanner 的默认缓冲如何失效

Scanner 默认使用内部缓冲，默认上限常量 MaxScanTokenSize 是 64 * 1024。这个数描述的是为 token 准备的缓冲上限，而不是“任何 64 KiB 的字符串都必然成功”；扫描行时还可能需要容纳换行等分隔内容，因此实际可用 token 长度可能略小。

问题的根因通常是单条输入记录超过了这个边界。Scanner 会停止扫描，调用方不能把停止简单当作正常 EOF，因为 Scan() 返回 false 同时可能代表底层读取错误或 token 过大。Scanner 适合边界清晰、逐 token 消费的输入；如果故障处理要求保留更多读取控制，官方建议考虑 bufio.Reader。

把上限配置在扫描开始之前

Buffer(buf, max) 有两个职责：buf 提供初始容量，max 限制 Scanner 为 token 扩容时允许达到的最大缓冲。最关键的时机是创建 Scanner 后、第一次 Scan() 前；扫描已经开始后再调用会触发 panic。

package main

import (
    "bufio"
    "fmt"
    "strings"
)

func main() {
    const maxToken = 1024 * 1024 // 为单条记录设置 1 MiB 的业务上限
    input := strings.NewReader(strings.Repeat("G", maxToken-1) + "\n")
    scanner := bufio.NewScanner(input)

    // 必须在第一次 Scan 前配置，max 要覆盖 token 和必要的分隔内容。
    scanner.Buffer(make([]byte, 64*1024), maxToken)

    // ScanLines 仍按行切分，Bytes 只在下一次 Scan 前使用。
    if scanner.Scan() {
        fmt.Println("token bytes:", len(scanner.Bytes()))
    }
    // false 不等于正常结束，必须读取 Err 判断是否扫描失败。
    if err := scanner.Err(); err != nil {
        fmt.Println("scan error:", err)
    }
}

这里的 maxToken 不是越大越好。它同时影响单个 Scanner 可能占用的内存上界；如果输入来自不可信来源，应结合请求体限制、并发量和进程内存预算设置，而不是直接填入一个极大的整数。初始缓冲也不必一次分配到最大值，给出常用记录大小即可让 Scanner 按需扩容。

修复后还要保留 Err 检查

扩大上限只解决“单条 token 太大”这一类边界，不能替代错误处理。循环通常写成 for scanner.Scan()，结束后必须调用 Err()：返回 nil 才能说明扫描是正常 EOF；非空错误可能来自底层 Reader，也可能是新的 token 仍超过 max。

如果文章中的读取对象是 HTTP 请求、上传文件或外部日志，建议同时记录输入来源和配置的最大值，出现错误时可以判断是业务数据超限还是 I/O 失败。不要依赖错误字符串做长期分支，业务上只需要把非空 Err() 当成失败并保留上下文。

什么时候应该改用 bufio.Reader

当单条记录长度无法预估、需要精细控制“读到分隔符但不丢数据”，或者遇到错误后还要继续从 Reader 读取时，Scanner 的不可恢复停止语义可能不合适。此时可以改用 bufio.Reader.ReadString、ReadBytes 或按块读取，再由业务层决定如何处理超长记录。

判断可以归纳为三点：记录上限明确且希望按行或 token 简洁遍历，就配置 Buffer；上限明确但需要拒绝超限输入，就保留较小的 max 并把 Err() 作为拒绝信号；长度和恢复策略都不确定，就优先评估 Reader。这样扩大 Token 上限是有边界的配置，而不是把内存风险推迟到线上。

常见问题

Buffer 应该放在 Scan 循环里吗？ 不应该。它需要在第一次 Scan() 前调用，放进循环会在扫描开始后触发 panic。

把 max 设置成很大的值就一定能读完吗？ 不一定。底层读取错误、分隔规则、进程内存和外部输入限制仍然存在；同时要检查 Err() 并为记录长度设定业务边界。

总结：先确认默认 64 KiB 边界，再在首次扫描前用 Buffer 配置初始缓冲与最大值，扫描结束后检查 Err()。当长度不可控或需要恢复性读取时，及时切换到 bufio.Reader。