Go encoding/csv Reader.ReuseRecord 怎样减少逐行解析分配

处理大型 CSV 时，如果每次 Read 都把整条记录保存到临时集合，短生命周期的记录切片会不断产生分配。Go 标准库的 encoding/csv.Reader 提供了 ReuseRecord 开关：设为 true 后，后续读取可以复用上一条记录切片的底层数组，适合“读一条、处理一条、不保存整行”的流式任务。

官方文档：https://pkg.go.dev/encoding/csv#Reader.ReuseRecord

默认读取和 ReuseRecord 的差别

标准库默认让每次 Read 返回调用方拥有的新记录切片。这样写最直观，适合把每条记录交给后续代码长期保存：

package main

import (
    "encoding/csv"
    "fmt"
    "strings"
)

func main() {
    reader := csv.NewReader(strings.NewReader("id,name\n1,Ada\n2,Lin\n"))
    // 默认模式下，每次 Read 返回调用方可以独立保存的记录切片。
    for {
        record, err := reader.Read()
        if err != nil {
            fmt.Println("读取结束或失败：", err)
            break
        }
        fmt.Println(record[0], record[1])
    }
}

开启复用只需在读取循环前设置一个字段：

reader := csv.NewReader(input)
// 只在当前循环消费 record，不把它直接交给下一轮仍要使用的集合。
reader.ReuseRecord = true

官方定义是：设为 true 时，Read 返回的切片可能与前一次调用共享底层数组；默认值为 false，每次返回新分配的记录切片。这里的“可能”很重要，调用方不能把复用当成固定地址契约，也不应依赖每一轮都恰好复用同一块内存。

只处理当前记录时怎样减少分配

最适合 ReuseRecord 的场景，是每读到一条记录就完成字段转换、计数或写入下游，然后丢弃这条记录。下面的例子统计金额，不保存完整行：

package main

import (
    "encoding/csv"
    "fmt"
    "io"
    "strconv"
    "strings"
)

func sumAmount(input string) (int64, error) {
    reader := csv.NewReader(strings.NewReader(input))
    // 当前任务只消费每行的金额字段，下一轮不需要上一行的 record。
    reader.ReuseRecord = true
    reader.FieldsPerRecord = 2

    var total int64
    for {
        record, err := reader.Read()
        if err == io.EOF {
            // EOF 表示输入正常读完，不应当作为业务错误返回。
            return total, nil
        }
        if err != nil {
            // 解析错误要保留原始错误，便于定位行号和字段问题。
            return 0, fmt.Errorf("读取 CSV 失败：%w", err)
        }

        amount, err := strconv.ParseInt(record[1], 10, 64)
        if err != nil {
            // 字段转换失败时立即停止，避免把错误数据算进总额。
            return 0, fmt.Errorf("金额字段 %q 无法转换：%w", record[1], err)
        }
        total += amount
    }
}

这段代码的关键不是“强行追求零分配”，而是让记录的生命周期足够短：record[1] 在本轮完成解析后就不再被保存。FieldsPerRecord = 2 还会把列数约束提前放进读取器，避免短行或多列行在业务层静默进入。

为什么保存整行时必须复制

如果开启复用后直接把每轮返回的切片追加到结果集，结果集里的多个元素可能指向同一底层数组。下一次读取改写记录后，前面保存的内容就可能随之变化。需要留存时，请复制记录：

package main

import (
    "encoding/csv"
    "fmt"
    "io"
    "strings"
)

func readAll(input string) ([][]string, error) {
    reader := csv.NewReader(strings.NewReader(input))
    // 读取阶段允许复用，但保存阶段必须创建自己的记录副本。
    reader.ReuseRecord = true

    var rows [][]string
    for {
        record, err := reader.Read()
        if err == io.EOF {
            return rows, nil
        }
        if err != nil {
            return nil, fmt.Errorf("读取 CSV 失败：%w", err)
        }
        // append 到 nil 切片会复制元素，避免 rows 保存共享的记录切片。
        saved := append([]string(nil), record...)
        rows = append(rows, saved)
    }
}

append([]string(nil), record...) 只复制记录切片中的字符串元素，不会把字符串内容按字符重新复制。因为 Go 字符串本身是不可变的描述符，真正需要隔离的是记录切片的元素数组。若要把结果交给异步任务或跨越当前读取循环，也应在交接前完成同样的复制。

哪些场景值得开启复用

可以把判断压缩成“数据是否跨越下一次 Read”：

ReuseRecord 只影响记录切片的分配策略，不会解决字符串转换、字段解析、业务对象创建或下游写入造成的全部内存开销。真正需要优化时，应把读取循环和业务处理拆开测量，确认热点确实来自记录切片分配，再采用这个开关。

常见问题

ReuseRecord 会让上一条记录立刻失效吗？

不能把它简单理解成“下一次必然覆盖上一条”。官方契约是“可能共享底层数组”，因此只要数据要跨越下一次 Read，就应当复制，而不是依赖某次实现恰好没有复用。

只读取一个字段，还需要复制吗？

如果把字段字符串本身复制或存入业务对象，通常不需要复制整行切片；如果保存的是 record、把它传给异步处理或保存切片视图，就需要复制记录元素数组。

FieldsPerRecord 和 ReuseRecord 有关系吗？

没有直接的开关依赖。前者约束每条记录的字段数量，后者决定返回记录切片是否可以共享底层数组；实际项目可以同时设置，但需要分别处理列数错误与生命周期边界。