首页 > Golang > Go教程

Golang读取CSV和JSON文件教程

时间：2026-02-08 15:20:31 292浏览收藏

来到golang学习网的大家，相信都是编程学习爱好者，希望在这里学习Golang相关编程知识。下面本篇文章就来带大家聊聊《Golang CSV JSON文件读取教程》，介绍一下，希望对大家的知识积累有所帮助，助力实战开发！

Go解析CSV/JSON常见问题包括：字段截断需设FieldsPerRecord和TrimPrefix去BOM；类型错乱须手动转换；大文件应流式处理防OOM；路径用filepath.Join适配跨平台；存在性检查需区分错误类型。

如何在Golang中实现基础文件解析功能_Golang CSV JSON文件读取示例

用 `encoding/csv` 读取 CSV 文件时字段被截断或类型错乱

Go 的 csv.Reader 默认不自动处理引号包裹的字段（如含逗号、换行的单元格），也不做类型推断。如果 CSV 含 "John, Jr." 这类字段但没设 FieldsPerRecord 或未调用 ReadAll()，容易只读到 "John 就报错。

始终设置 reader.Comma = ','（显式声明分隔符，避免 BOM 或空格干扰）
用 reader.Read() 逐行读取时，检查返回错误是否为 io.EOF，而非直接 panic
若字段含换行或引号，确保源文件符合 RFC 4180，且调用 reader.FieldsPerRecord = -1 允许变长行（仅限明确需要）
字符串转数字务必手动用 strconv.Atoi 或 strconv.ParseFloat，csv 包不做任何类型转换

file, _ := os.Open("data.csv")
defer file.Close()
reader := csv.NewReader(file)
reader.Comma = ','
records, err := reader.ReadAll()
if err != nil {
    log.Fatal(err) // 不要忽略 err
}
for _, r := range records {
    name := r[0] // 始终是 string
    age, _ := strconv.Atoi(r[1]) // 手动转
}

解析 JSON 文件时遇到 `invalid character '' looking for beginning of value`

这个错误几乎全是编码问题：文件含 UTF-8 BOM（EF BB BF）或保存为 UTF-16/GBK，而 json.Unmarshal 只接受纯 UTF-8。Go 标准库不自动 strip BOM。

用 bytes.TrimPrefix(data, []byte("\xef\xbb\xbf")) 清除 UTF-8 BOM
不要直接 os.ReadFile 后丢给 json.Unmarshal，先检查前几个字节
结构体字段必须导出（首字母大写），且加 json:"field_name" 标签匹配 key 名，否则反序列化后字段为空
嵌套 JSON 对象建议用指针字段（如 *Address），避免空对象被忽略

data, _ := os.ReadFile("config.json")
data = bytes.TrimPrefix(data, []byte("\xef\xbb\xbf"))
var cfg struct {
    Port int    `json:"port"`
    Host string `json:"host"`
}
err := json.Unmarshal(data, &cfg)
if err != nil {
    log.Fatal(err)
}

大文件 CSV/JSON 读取内存暴涨甚至 OOM

csv.ReadAll() 和 json.Unmarshal 都是一次性加载全部内容进内存。100MB CSV 文件可能膨胀到 300MB+ 内存占用，尤其含大量字符串时。

CSV 场景优先用 reader.Read() 流式处理，每行处理完立刻释放引用
JSON 场景避免 json.Unmarshal 整体解析，改用 json.Decoder 配合 struct 或 map[string]interface{} 逐段解码
对超大 JSON 数组（如日志列表），用 decoder.Token() 手动跳过无关字段，减少分配
注意 bufio.NewReader 缓冲区大小，默认 4KB 可能太小，大文件建议设为 64KB+

file, _ := os.Open("big.json")
defer file.Close()
dec := json.NewDecoder(bufio.NewReaderSize(file, 65536))
for dec.More() {
    var item map[string]interface{}
    if err := dec.Decode(&item); err != nil {
        break // 处理单条失败，不中断整个流
    }
    process(item)
}