Go encoding/csv 怎么读取每行列数不固定的文件

外部报表的列数不一定整齐：首行可能有 3 列，后面某行多出备注列，也可能少一个可选字段。Go 的 encoding/csv 默认会把第一条记录的字段数作为后续检查标准；要保留这种“每行字段数可以不同”的原始数据，应把 Reader.FieldsPerRecord 设为 -1，然后在 Read 循环里自己记录字段数和错误。

先弄清 FieldsPerRecord 为什么会报错

我第一次接外部 CSV 时，最容易误判的是：看到某一行列数不同，就以为 Go 读取失败。其实 Reader 的规则很明确：正数表示每条记录都必须有指定列数；0 表示由第一条记录确定列数；负数才是不做字段数检查。新建 Reader 后如果不改配置，默认值就是 0。

因此，首行是 3 列、第二行是 4 列时，读取第二行会得到字段数量不匹配的解析错误，而不是“自动把多出来的值丢掉”。如果文件契约本来就允许可选列，继续使用默认值就会把正常差异当成异常。

package main

import (
    "encoding/csv"
    "fmt"
    "strings"
)

func main() {
    input := "name,age\nAda,36,London\n"
    reader := csv.NewReader(strings.NewReader(input))

    // 默认值 0 会让第一条记录的列数约束后续记录。
    record, err := reader.Read()
    fmt.Printf("record=%v err=%v fields=%d\n", record, err, len(record))
    record, err = reader.Read()
    // 第二行列数不同，默认规则会返回字段数量错误。
    fmt.Printf("record=%v err=%v fields=%d\n", record, err, len(record))
}

把 FieldsPerRecord 设为 -1

可变列文件的最小改动只有一行：在第一次调用 Read 前设置 reader.FieldsPerRecord = -1。此时 Reader 不再拿第一行的长度比较后续记录，每次成功读取都会返回这一行实际解析出的 []string。这一步只改变字段数检查，不会放宽引号、分隔符或换行等 CSV 语法规则。

package main

import (
    "encoding/csv"
    "fmt"
    "io"
    "strings"
)

func main() {
    input := "name,age\nAda,36,London\nLinus\n"
    reader := csv.NewReader(strings.NewReader(input))
    // -1 表示允许每条记录拥有不同字段数，但仍解析 CSV 语法。
    reader.FieldsPerRecord = -1

    for {
        record, err := reader.Read()
        if err == io.EOF {
            // 没有下一条记录，结束正常读取。
            break
        }
        if err != nil {
            // 语法错误仍要保留，不能把它当成可变列的正常情况。
            fmt.Println("CSV 解析失败:", err)
            break
        }
        fmt.Printf("fields=%d record=%v\n", len(record), record)
    }
}

这里的“允许可变列”是输入契约，不是数据清洗策略。比如业务要求前两列必须存在，可以在成功拿到记录后检查 len(record) ；对多出来的字段是保留、映射还是拒绝，应由业务规则决定，而不是让 Reader 替你猜。

把字段数和错误分开记录

我更推荐把读取循环写成一个小的采集边界：统计总记录数和字段数分布，遇到 io.EOF 正常结束，遇到其他错误则带上当前记录序号返回。这样既不会因列数不同中断导入，也不会把真正的引号错误、底层读取错误静默吞掉。

package main

import (
    "encoding/csv"
    "fmt"
    "io"
    "strings"
)

type CSVStats struct {
    Records int
    Fields  map[int]int
}

func readVariableCSV(input string) (CSVStats, error) {
    reader := csv.NewReader(strings.NewReader(input))
    // 关闭固定列数检查，把字段数量交给业务层观察。
    reader.FieldsPerRecord = -1
    stats := CSVStats{Fields: make(map[int]int)}

    for row := 1; ; row++ {
        record, err := reader.Read()
        if err == io.EOF {
            // EOF 表示没有下一条记录，不是当前行缺字段。
            return stats, nil
        }
        if err != nil {
            // 保留行号，便于定位引号或分隔符等真正的语法问题。
            return stats, fmt.Errorf("第 %d 条记录读取失败: %w", row, err)
        }
        stats.Records++
        stats.Fields[len(record)]++
    }
}

func main() {
    // 示例中三条记录分别拥有 2、3、1 个字段。
    stats, err := readVariableCSV("name,age\nAda,36,London\nLinus\n")
    fmt.Println("records:", stats.Records, "fields:", stats.Fields, "err:", err)
}

常见问题

FieldsPerRecord 设成 -1 会跳过 CSV 格式错误吗？

不会。它只关闭字段数量检查；引号未闭合、分隔符不符合规则或底层读取失败，仍然应该通过 err 处理。

为什么不直接删掉多余字段？

因为“多余”是业务定义。可选字段、备注列和误导入列的处理方式不同，先保留原始记录并统计字段分布，后续才有依据做映射或拒绝。

什么时候继续使用默认 FieldsPerRecord？

当文件格式明确规定每行列数固定时，默认检查反而是保护。它能尽早暴露错位行，避免后续按下标取字段时才出现更隐蔽的问题。

结论很简单：固定格式用默认的 FieldsPerRecord=0，明确允许变长行就设置为 -1，再在循环中统计 len(record) 并保留解析错误。这样 Reader 负责语法，业务代码负责字段契约，两层边界更清楚。