Go csv.Reader ReuseRecord 怎么降低批量导入分配

批量导入 CSV 时，csv.Reader.Read 默认会为每条记录准备新的返回切片。数据量上来后，这部分短生命周期对象会增加垃圾回收压力。把 ReuseRecord 设为 true，可以让后一次读取复用前一次记录切片的底层数组。

直接做法：开启复用后，在当前循环内完成字段检查、类型转换和业务对象构造；不要把 record 原样追加到长期切片。确实需要跨轮次保存原始记录时，先显式复制。

ReuseRecord 复用的到底是什么

官方文档的关键描述是：启用后，Read 返回的切片可能与前一次调用返回切片共享底层数组。它改变的是记录容器的生命周期，而不是 CSV 格式、字段校验规则或错误语义。

把转换和写入放在当前循环里

下面的写法读取一行就立即转成独立的业务对象，并按批次提交。示例不在本地执行，重点是资源关闭、错误位置和复用边界。

func importCSV(r io.Reader, save func([]User) error) error {
    cr := csv.NewReader(r)
    cr.ReuseRecord = true // 允许复用记录切片，降低逐行容器分配。
    cr.FieldsPerRecord = 3 // 固定列数，尽早拦截缺列或多列。

    batch := make([]User, 0, 500)
    for line := 1; ; line++ {
        record, err := cr.Read()
        if errors.Is(err, io.EOF) {
            break // 正常读完文件，不把 EOF 当成导入失败。
        }
        if err != nil {
            return fmt.Errorf("第 %d 行解析失败: %w", line, err)
        }

        id, err := strconv.ParseInt(record[0], 10, 64)
        if err != nil {
            return fmt.Errorf("第 %d 行用户ID无效: %w", line, err)
        }
        // 构造独立业务对象，不把可复用的 record 保存到批次中。
        batch = append(batch, User{ID: id, Name: record[1], Email: record[2]})
        if len(batch) == cap(batch) {
            if err := save(batch); err != nil {
                return fmt.Errorf("第 %d 行所在批次写入失败: %w", line, err)
            }
            batch = batch[:0] // 复用业务批次容量，继续降低分配。
        }
    }
    if len(batch) > 0 {
        return save(batch) // 提交不足一批的尾部数据。
    }
    return nil
}

这里的安全边界有两层：record 只在当前循环使用；batch 保存的是重新构造的 User。如果 save 会异步持有传入切片，函数内部还需要复制批次，或改成同步落库后再复用。

跨轮次保存时只复制必要记录

错误样本、人工复核队列或延迟任务需要保留原始字段时，使用 slices.Clone(record)；旧版本 Go 也可以用 append([]string(nil), record...)。复制应出现在“确需持有”的分支，而不是每行无条件执行，否则会抵消开启复用的主要收益。

if needReview(record) {
    saved := slices.Clone(record) // 脱离 Reader 的复用底层数组。
    reviewRows = append(reviewRows, saved)
}

上线前再检查三点：字段数策略是否符合文件规范；错误是否带行号但不泄露敏感字段；批次写入函数是否同步消费数据。优化效果则应在自己的文件规模和导入逻辑上用基准测试确认，不要把 ReuseRecord 当成所有分配问题的万能开关。

常见问题

开启 ReuseRecord 后 record 里的字符串也一定零分配吗？

不能这样保证。官方契约只说明返回记录切片可能复用前一次的底层数组；整体分配仍受解析内容、字符串转换和业务对象构造影响。

可以把 record 直接发送到异步 goroutine 吗？

不建议。下一次读取可能改写同一底层数组。发送前先复制，或者在当前循环内完成转换，仅发送独立业务对象。