Go CSV 变长记录如何做输入约束

Go CSV 允许变长记录时，将 Reader.FieldsPerRecord 设为 -1，再自行检查每条记录的最少列数、最多列数、必填值和字段长度。同时给原始输入设置总字节预算与记录数上限。只关闭固定列数检查，不能阻止一条特别大的记录占用内存。

官方文档地址：https://pkg.go.dev/encoding/csv；输入读取接口文档：https://pkg.go.dev/io。本文用标准库实现一个小批量导入器，不涉及浏览器端 CSV 库。

特性解决什么：允许尾部扩展列

假设导入文件的前两列是物料编号、物料名称，后面允许追加零到四个扩展字段。我会把这种格式定义为“前缀固定、尾部可选”，而不是简单宣布每行多少列都行。两列记录可以接受，六列记录也可以接受，但只有一列或七列应报错。

这个取舍适合有少量可选备注、标签或属性的历史接口。若不同列数实际上代表不同业务对象，应增加类型字段或拆分文件协议，不要仅凭列数猜测记录类型。本文示例没有表头，第一条数据也参与约束检查。

支持范围：列数规则不等于资源限制

CSV Reader 可以处理引号内的逗号和换行，因此“记录”不等于物理文本行。不能先用 Scanner 按换行拆开，再用 strings.Split 拆逗号，否则合法的多行字段就会被破坏。我保留默认的严格引号处理，不用 LazyQuotes 掩盖来源格式问题。

最小示例：先限定输入再检查记录

package main

import (
    "bytes"
    "encoding/csv"
    "fmt"
    "io"
    "strings"
    "unicode/utf8"
)

const (
    maxInputBytes = 4  maxInputBytes {
        return nil, fmt.Errorf("输入超过 %d 字节", maxInputBytes)
    }
    if !utf8.Valid(data) {
        return nil, fmt.Errorf("输入必须为 UTF-8")
    }

    r := csv.NewReader(bytes.NewReader(data))
    // 允许变长记录，但业务仍要求每条记录有 2 至 6 个字段。
    r.FieldsPerRecord = -1
    r.ReuseRecord = false
    var rows [][]string
    for {
        record, readErr := r.Read()
        if readErr == io.EOF {
            break
        }
        if readErr != nil {
            return nil, fmt.Errorf("记录 %d 解析失败: %w", len(rows)+1, readErr)
        }
        number := len(rows) + 1
        if number > maxRecords {
            return nil, fmt.Errorf("记录数超过 %d", maxRecords)
        }
        if len(record)  maxFields {
            return nil, fmt.Errorf("记录 %d 必须有 %d 至 %d 列",
                number, minFields, maxFields)
        }
        for i, field := range record {
            // 字节长度适合资源预算，不代表中文字符个数。
            if len(field) > maxFieldBytes {
                return nil, fmt.Errorf("记录 %d 第 %d 列超过 %d 字节",
                    number, i+1, maxFieldBytes)
            }
        }
        if strings.TrimSpace(record[0]) == "" || strings.TrimSpace(record[1]) == "" {
            return nil, fmt.Errorf("记录 %d 的前两列不能为空", number)
        }
        rows = append(rows, record)
    }
    if len(rows) == 0 {
        return nil, fmt.Errorf("至少需要一条记录")
    }
    return rows, nil
}

func main() {
    // 第二条记录的备注含换行；它仍是一条逻辑记录。
    input := "A01,纸箱\nA02,托盘,\"仓库\n备用\"\n"
    rows, err := ReadBatch(strings.NewReader(input))
    if err != nil {
        fmt.Println("导入失败:", err)
        return
    }
    fmt.Printf("可提交记录数: %d\n", len(rows))
}

这里先有界缓冲整个输入，再解析记录，适合明确限制为小批量的文件。LimitReader 达到限制后返回 EOF，如果只读取 4 MiB 就停止，无法区分文件真的结束还是被截断；增加一个字节并检查长度，就能在解析前拒绝超限，不会把合法前缀当作完整导入。

总字节检查应发生在 CSV 解析之前，字段数和字段长度检查则发生在 Read 返回之后。因此 256 字节字段上限不是解析器分配前的硬限制。单个大字段仍可能让 Reader 为它分配空间，但其原始来源受 4 MiB 总预算约束。进程实际内存还包含切片、字符串及解析缓冲，不能宣称最多只用 4 MiB。

rows 只在全部内容成功后返回，任一记录出错都返回 nil。调用者可以先得到完整可接受批次，再决定怎样提交到数据库。该函数本身没有数据库事务，也不负责替调用者关闭文件或网络输入；src 的所有者应在自己的生命周期中清理资源。

兼容处理：多行字段、空值与错误定位

空白物理行会被标准解析器忽略，包含逗号的空字段记录则仍需按规则检查。示例用 TrimSpace 只判断前两列是否为空，并没有修改原始字段内容；业务需要归一化物料编号时，应另写清楚大小写、空白和重复编号规则。

尾部多一个逗号会产生额外的空字段，不等于没有该列。例如两列数据后加一个逗号，应按三列记录理解。缺少可选尾列和可选尾列为空是否等价，应由数据映射层决定，不能偷偷补空后再丢失来源差异。

错误中的记录编号按成功解析的逻辑记录累计，不是文件行号。ParseError 会带语法位置；业务字段错误若要指向原始文本位置，可以在当前 Read 之后使用 Reader.FieldPos。多行字段的起始行与错误出现行也未必相同，界面文案应明确叫“记录”还是“行”。

若输入带 UTF-8 BOM，本文不自动剥离，它可能成为首字段内容。接口可以选择只在输入开头移除一次并记录这一兼容规则；不要对每个字段无差别删除字符。编码声明为 UTF-8，所以不合法 UTF-8 在进入解析前就被拒绝。

性能与安全注意：明确缓冲和提交边界

ReuseRecord=false 让保留多条结果的写法更直观。若启用复用并直接把每次返回切片 append 到 rows，多条结果可能共用同一个底层数组；需要逐条消费或复制切片后再保存。是否值得优化应由实际负载决定，本文没有运行代码或进行性能测量。

读者可将示例保存为 main.go 并运行，随后分别尝试一列、七列、空必填值和带引号换行的记录。它们对应不同契约，不应只用一个正常样本就推断所有异常输入都已覆盖。

# 在保存 main.go 的目录执行，观察逻辑记录数与错误信息
go run main.go

如果输入来自 HTTP，字节预算不能替代读取超时；慢速发送仍可能占用连接。压缩上传还应限定解压后的 CSV 字节，并考虑独立的压缩传输预算。并发导入时，每份输入的有界缓冲仍会相加，需要在服务层限定同时处理的批次数。

更大的文件可采用受限暂存文件和分批解析，但这意味着重新设计错误回滚与提交规则。不要在 CSV 刚读出一条时立即产生不可撤销的业务副作用，又在文件末尾失败后声称“整批没有导入”。

FieldsPerRecord=-1 会忽略语法错误吗？

不会。它只改变字段数检查；引号错误、底层读取错误仍应处理。即使 Read 同时返回部分记录与错误，本例也丢弃该条，不继续提交。

len(field) 是字符数吗？

它是字符串字节数。中文通常占多个 UTF-8 字节；若要求面向用户的字符数量，应另定义码点或字素计数，资源预算仍可保留字节限制。

只需固定两列，还要用变长模式吗？

不需要。直接设 FieldsPerRecord=2 更清楚。只有业务真的允许尾列变化时，才采用变长解析加白名单范围。

事实依据：Go CSV Reader 官方说明、io.LimitReader 官方说明。预算数值是本文示例选择，代码与业务协议为独立设计。