Go encoding/csv 遇到不齐列数据怎么保留记录

Go 的 encoding/csv 默认会把第一条记录的列数当作后续基准。供应方 CSV 偶尔少一列或多一列时，直接调用 Read 往往得到 ErrFieldCount，看起来像“这一行读不到”。如果业务要求保留原始记录，做法是把 Reader.FieldsPerRecord 设为 -1，再由应用层根据表头长度判断、补齐或进入人工处理队列。

先决定要保留多少列：FieldsPerRecord 的三种语义

Reader.FieldsPerRecord 有三种容易混淆的状态：正数表示每条记录必须有指定列数；0 表示第一次成功读取的记录决定基准；负数表示允许每条记录拥有不同列数。新建 reader 后不修改时，它的零值会在首条记录读取时形成固定列数，因此后续变化会触发 ErrFieldCount。

这项设置只负责解析边界，不代表业务上“不齐列就是合法数据”。导入任务可以先允许读取，再用表头长度、供应方版本或必填字段做第二层判断。这样既不丢失现场，也不会把缺列数据悄悄当成完整对象。

用 Read 循环接住不齐列记录

流式读取更适合大文件，也能在发现异常时立即记录。关键点是先判断 io.EOF，再判断其他错误；对 ErrFieldCount，只要没有更严重的解析错误，就可以保留返回的字段切片。

package main

import (
    "encoding/csv"
    "errors"
    "fmt"
    "io"
    "strings"
)

func readRecords(input string) error {
    r := csv.NewReader(strings.NewReader(input))
    r.FieldsPerRecord = -1 // 允许每条 CSV 记录有不同列数

    for row := 1; ; row++ {
        record, err := r.Read()
        if errors.Is(err, io.EOF) { // 正常结束，不把 EOF 当成坏行
            return nil
        }
        if err != nil && !errors.Is(err, csv.ErrFieldCount) {
            return fmt.Errorf("第 %d 行解析失败: %w", row, err) // 引号等语法错误不能盲目保留
        }
        if errors.Is(err, csv.ErrFieldCount) {
            fmt.Printf("第 %d 行列数异常: %v\n", row, record) // 先保留原始字段
        }
        fmt.Printf("第 %d 行: %v\n", row, record)
    }
}

这里的 ErrFieldCount 只在应用已经设置为固定列数时更常见；保留记录的方案把列数检查移到循环内部。无论采用哪种策略，都不要只写 if err != nil { continue }，否则既可能丢掉字段，也可能掩盖引号不闭合等真正的 ParseError。

把坏行标记、补齐和审计分开

先读表头得到期望列数，再对每个 record 做长度判断。缺列可以在写入内部结构前补空字符串，多列则保留额外字段并标记异常；原始切片建议复制后存入审计记录，避免后续代码修改它。

func normalizeRecord(header, record []string) (fields []string, status string) {
    fields = append([]string(nil), record...) // 复制一份，保护原始字段
    switch {
    case len(record) == len(header):
        return fields, "ok"
    case len(record) 

可以把 status、CSV 行号、r.InputOffset() 和原始 record 一起写入审计日志。InputOffset 返回当前输入流的字节位置，适合在大文件中定位复查点；不要把补齐后的 fields 当成供应方原始数据回写。

常见问题：ReadAll 能不能保留不齐列记录

把 FieldsPerRecord 设为 -1 后还需要检查列数吗？

需要。-1 只是关闭 Reader 的统一列数检查，不会替你判断必填字段、版本兼容或业务映射是否安全。

Read 返回 ErrFieldCount 时 record 一定为空吗？

不一定。官方文档说明它会把记录和错误一起返回；但遇到字段语法错误时可能只有部分字段，所以应区分 ErrFieldCount 与 ParseError。

ReadAll 适合这种导入吗？

如果输入允许变列，先设置 FieldsPerRecord=-1 再调用 ReadAll 可以拿到全部记录；大文件或需要逐行审计时，流式 Read 更容易控制内存和失败范围。

一句话记忆：解析器负责把 CSV 读出来，业务代码负责决定这条记录是否可用。把原始字段、规范化字段和异常状态分开，列数变化就不会变成静默丢数。