Go encoding/csv 遇到未转义引号时怎样读取旧格式文件

遇到历史系统导出的 CSV 在字段里直接写了引号，encoding/csv 默认解析通常会返回 bare " in non-quoted-field 或 extraneous or missing " in quoted-field。如果这类文件暂时无法让上游修复，可以把 csv.Reader.LazyQuotes 设为 true，让读取器对部分不规范引号采取兼容策略。

官方地址：https://pkg.go.dev/encoding/csv#Reader

但要记住：LazyQuotes 只放宽引号解析，不负责判断业务字段是否完整，也不会替你修复供应商文件。稳妥做法是“兼容读取 + 字段数约束 + 错误定位 + 后续治理”一起使用。

默认解析为什么会拒绝未转义引号

Go 的 encoding/csv 默认按 RFC 4180 风格读取。字段如果以引号开始，就应当以匹配的引号结束；引号字段内部的双引号应写成两个连续的引号。普通字段中直接出现一个引号，或者引号字段内部出现没有成对转义的引号，都可能被视为格式错误。

例如下面的历史记录把客户名称中的英文引号直接放在了未加引号的字段里：

id,name,note
1001,Alice,他说 "hello"
1002,Bob,正常备注

从严格 CSV 的角度看，第三列的引号没有按照规范转义。默认读取器会把它视为裸引号并返回解析错误，而不是猜测这一个字符应该属于普通文本。

怎样用 LazyQuotes 读取旧格式 CSV

创建 csv.Reader 后，在第一次调用 Read 或 ReadAll 前设置 LazyQuotes。下面示例使用逐条读取，适合大文件，也方便把读取错误和记录位置放到自己的日志中。

package main

import (
    "encoding/csv"
    "fmt"
    "io"
    "strings"
)

func main() {
    input := "id,name,note\n" +
        "1001,Alice,他说 \"hello\"\n" +
        "1002,Bob,正常备注\n"

    r := csv.NewReader(strings.NewReader(input))
    // 兼容旧系统写出的裸引号，但不改变逗号分隔规则。
    r.LazyQuotes = true
    // 让首条记录确定列数，后续记录列数变化时返回 ErrFieldCount。
    r.FieldsPerRecord = 0

    for {
        record, err := r.Read()
        if err == io.EOF {
            // 没有更多记录，正常结束读取。
            break
        }
        if err != nil {
            // 兼容解析仍可能返回字段数或其他 ParseError。
            fmt.Printf("读取失败：%v\n", err)
            continue
        }
        // record 仍需经过业务字段校验，不能直接当作可信数据。
        fmt.Printf("读取记录：%v\n", record)
    }
}

这里的关键是设置时机：Reader 的公开配置字段应在第一次读取前完成设置。LazyQuotes=true 后，示例中的第三列会按普通文本继续读入；它并不会把逗号、换行或字段数量规则全部关闭。

为什么还要保留 FieldsPerRecord 检查

兼容读取最危险的误区是“只要不报错就说明列没有问题”。如果旧文件的引号同时影响了逗号识别，记录可能出现列数变化。FieldsPerRecord 可以把这种变化显式暴露出来：

对于固定列的供应商文件，通常让默认值 0 工作即可；如果第一条记录不可靠，也可以在读到表头后直接把 FieldsPerRecord 设置为明确的正数。

兼容读取后怎样区分解析错误和列错位

Read 可能同时返回部分记录和错误。遇到需要追查的文件，应保留错误本身，而不是只打印一句“CSV 读取失败”。ParseError 提供起始行、错误行、列号和底层错误，适合反馈给上游文件提供方。

package main

import (
    "encoding/csv"
    "errors"
    "fmt"
    "io"
    "strings"
)

func readLegacyCSV(input string) error {
    r := csv.NewReader(strings.NewReader(input))
    // 只放宽引号，不取消固定列数约束。
    r.LazyQuotes = true
    r.FieldsPerRecord = 3

    for {
        record, err := r.Read()
        if err == io.EOF {
            // 所有记录已处理完毕。
            return nil
        }
        if err != nil {
            var parseErr *csv.ParseError
            if errors.As(err, &parseErr) {
                // 行列信息能帮助定位供应商文件中的坏记录。
                return fmt.Errorf("第 %d 行第 %d 列解析失败：%w", parseErr.Line, parseErr.Column, err)
            }
            // ErrFieldCount 等结构错误也要保留原始上下文。
            return fmt.Errorf("记录 %v 不符合导入约束：%w", record, err)
        }
        // 通过后再映射到业务结构，不要在解析阶段猜测字段含义。
        fmt.Println("待导入：", record)
    }
}

如果目标是“尽量导入并记录坏行”，可以把错误写入单独的拒收清单，再继续读取；如果目标是财务、库存或身份数据导入，更适合遇到结构错误就停止，并要求上游重新导出。LazyQuotes 不是数据质量保证。

LazyQuotes 能解决什么，不能解决什么

• 能解决：字段中存在裸引号，或引号字段中存在未成对的非转义引号，且逗号与换行边界仍然可判断。
• 不能解决：字段分隔符本身被破坏、换行被截断、列数已经无法确定，或文件编码不是有效 UTF-8 等问题。
• 不能替代：字段类型校验、必填校验、敏感字段脱敏、重复记录处理和源系统修复。

如果开启 LazyQuotes 后仍然得到不符合预期的记录，不要继续叠加字符串替换。先保存原始行、ParseError 的位置和实际列数，确认是引号问题还是分隔边界问题，再决定是否增加专门的预处理器。

一份可执行的迁移清单

1. 先用默认配置读取一小段文件，确认错误是否确实来自裸引号或非成对引号。
2. 在第一次读取前设置 LazyQuotes=true，不要把它写在读取循环中反复修改。
3. 保留 FieldsPerRecord 约束，避免兼容模式掩盖列数变化。
4. 对 ParseError 使用行号和列号记录原始问题，方便推动上游修复。
5. 将兼容读取视为过渡方案；能改上游导出格式时，优先恢复标准 CSV。

可以把这篇文章的结论记成一句话：LazyQuotes 负责“读进来”，FieldsPerRecord 负责“别错列”，源文件修复负责“以后别再坏”。

相关问题

LazyQuotes=true 会忽略所有 CSV 格式错误吗？

不会。它只放宽部分引号规则，字段数量、分隔符合法性以及其他输入边界仍可能返回错误。

应该使用 ReadAll 还是 Read？

小文件可以使用 ReadAll 简化代码；大文件或需要记录坏行位置时，使用 Read 循环更容易控制内存和错误处理。

开启 LazyQuotes 后还要清洗字段中的引号吗？

是否清洗取决于业务字段语义。解析器只负责把文本字段读出来，不能替你判断引号是内容、转义残留还是供应商格式错误。