Go encoding/csv处理注释行并保留有效记录的解析方案

CSV 文件经常同时包含说明行、空行和真正的数据行。Go 的 encoding/csv 不需要手写字符串切割：把 Reader.Comment 设为 #，就能忽略行首直接出现 # 的整行，再用 Read 逐条接收有效记录。关键边界是：带缩进的 # 不属于注释，TrimLeadingSpace 也不会改变这个判断。

先把注释行规则配置在 Reader 上

csv.NewReader 默认只负责按 CSV 规则解析，注释功能默认关闭。导入带说明行的文件时，先配置 Comment，不要在业务层拿字符串前缀再过滤一次：

这一步还要注意时机。Comment、FieldsPerRecord 等导出字段应在第一次读取前完成设置；读到一半再修改，会让同一文件的解析规则前后不一致。

用 Read 循环只把有效记录交给业务层

导入程序最稳妥的骨架是“读一条、判一次错误、成功后再处理”。下面的示例把注释行、空行、缩进井号记录和字段数异常放进同一个可观察流程中：

package main

import (
	"encoding/csv"
	"errors"
	"fmt"
	"io"
	"strings"
)

func main() {
	input := strings.NewReader("# generated by export\n\nname,age,team\n  #keep-as-data,40,ops\nwrong,columns\n")
	r := csv.NewReader(input)
	// 只让行首直接出现 # 的整行进入注释分支。
	r.Comment = '#'
	// 固定导入契约，避免短行被业务代码误当成完整记录。
	r.FieldsPerRecord = 3

	kept := 0
	for {
		record, err := r.Read()
		if errors.Is(err, io.EOF) {
			// EOF 表示正常读完，不是失败记录。
			break
		}
		if err != nil {
			var parseErr *csv.ParseError
			if errors.As(err, &parseErr) {
				// ParseError 可提供行列位置，适合写入导入日志。
				fmt.Printf("跳过第 %d 行：%v\n", parseErr.Line, parseErr.Err)
			} else {
				fmt.Printf("跳过记录：%v\n", err)
			}
			continue
		}

		// 只有解析成功的记录才进入后续业务逻辑。
		kept++
		fmt.Printf("有效记录 %d：%v\n", kept, record)
	}

	fmt.Printf("共保留 %d 条有效记录\n", kept)
}

示例中的缩进井号行会作为普通三列记录保留；wrong,columns 会触发字段数错误；文件末尾的 io.EOF 只负责结束循环。不要把所有非空返回都当成成功，也不要因为一次坏行就丢掉后续可读数据，是否继续由导入策略决定。

字段数约束与 ParseError 要分层记录

FieldsPerRecord 有三种常用含义：正数表示固定列数，0 表示以第一条记录的列数作为后续约束，负数表示允许每条记录列数不同。批量导入通常应该显式使用正数，让数据契约尽早暴露。

字段数不符也会包装在解析错误中，使用 errors.As 获取 *csv.ParseError 后，可以记录行号和底层原因。这样日志能区分“列数不对”和“引号没有闭合”等格式问题，修复动作不会只剩一句模糊的解析失败。

上线前用四条输入做验收

• 文件第一行直接以 # 开头，确认它不会出现在业务记录计数中。
• 插入空行，确认循环不会收到一条空记录。
• 加入带缩进的 # 行，确认它是否应当作为数据；如果业务不允许，应另写字段校验。
• 分别准备少一列、 多一列和未闭合引号的行，确认日志有行号，并决定坏行是跳过、终止还是进入隔离文件。

这里的职责边界很重要：Comment 只解决 CSV 层面的整行注释，不能替代表头识别、字段类型转换、必填校验或重复数据处理。把这些规则分开，后续换分隔符、增加列或接入流式上传时，问题会更容易定位。

相关问题

设置 TrimLeadingSpace 后，缩进的 # 会被当成注释吗？

不会。官方规则要求注释字符出现在行首且前面没有空白；带缩进的 # 仍会参与字段解析。

可以直接用 ReadAll 读取吗？

可以，但它会一次性收集所有记录。文件较大或需要逐行记录坏数据时，优先使用 Read 循环。

FieldsPerRecord 应该设为 0 还是固定列数？

格式稳定且列数明确时固定正数更安全；确实允许变长记录时才用负数。使用 0 要意识到第一条有效记录会决定后续约束。