首页 > Golang > Go教程

Golangbufio文件读写优化技巧

时间：2025-12-12 12:03:40 337浏览收藏

推广推荐

支持 PC / 移动端，安全直达

本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的，希望这篇《Golang bufio高效读写文件实践》对你有很大帮助！欢迎收藏，分享给更多的需要的朋友学习~

使用bufio包可显著提升Go语言文件读写效率。通过bufio.Reader按行或分隔符读取大文件，减少系统调用；结合Scanner简化文本解析；利用bufio.Writer批量写入并调用Flush刷新缓冲区；综合Reader和Writer实现高效文件复制，适用于大文件处理场景。

如何用Golang使用bufio高效读写文件_Golang bufio文件读写实践

在Go语言中处理文件读写时，直接使用os.File虽然可行，但在处理大文件或频繁I/O操作时效率较低。引入bufio包可以显著提升性能，它通过缓冲机制减少系统调用次数，是实际开发中的常用做法。

bufio.Reader：高效读取文件内容

使用bufio.Reader可以从文件中按行、按块或按分隔符读取数据，避免频繁的磁盘访问。

常见读取方式包括：

ReadLine()：底层读取单行（不推荐直接使用）
ReadString(delim)：读到指定分隔符为止
ReadBytes(delim)：类似ReadString，返回字节切片
Scanner：配合bufio.Scanner更方便按行读取

示例：按行读取大文件

file, err := os.Open("large.log")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

reader := bufio.NewReader(file)
for {
    line, err := reader.ReadString('\n')
    if err != nil && err != io.EOF {
        log.Fatal(err)
    }
    if len(line) > 0 {
        fmt.Print(line)
    }
    if err == io.EOF {
        break
    }
}

bufio.Scanner：简化文本读取场景

对于按行处理日志、配置文件等场景，bufio.Scanner比Reader更简洁。

它默认以换行符为分隔符，适合大多数文本解析任务。

示例：使用Scanner读文件

file, err := os.Open("data.txt")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

scanner := bufio.NewScanner(file)
for scanner.Scan() {
    fmt.Println(scanner.Text())
}
if err := scanner.Err(); err != nil {
    log.Fatal(err)
}

还可自定义分隔符，比如读取JSON行文件（每行一个JSON对象）：

scanner.Split(bufio.ScanLines)

bufio.Writer：批量写入提升性能

频繁写文件会导致大量系统调用。bufio.Writer将数据先写入内存缓冲区，满后一次性刷入磁盘。

关键方法：

Write([]byte)：写入字节流
WriteString(s)：写入字符串
Flush()：强制将缓冲区数据写入底层

示例：高效写入多行数据

file, err := os.Create("output.txt")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

writer := bufio.NewWriter(file)
data := []string{"line1", "line2", "line3"}

for _, line := range data {
    _, _ = writer.WriteString(line + "\n")
}

// 必须调用Flush，否则可能丢失数据
if err := writer.Flush(); err != nil {
    log.Fatal(err)
}

缓冲区大小可自定义，默认为4096字节。若写入量大，建议增大缓冲区：

writer := bufio.NewWriterSize(file, 32*1024) // 32KB

综合实践：复制大文件

结合bufio.Reader和bufio.Writer实现高效文件复制。

func copyFile(src, dst string) error {
    s, err := os.Open(src)
    if err != nil {
        return err
    }
    defer s.Close()

    d, err := os.Create(dst)
    if err != nil {
        return err
    }
    defer d.Close()

    reader := bufio.NewReader(s)
    writer := bufio.NewWriter(d)
    buffer := make([]byte, 32*1024)

    for {
        n, err := reader.Read(buffer)
        if n > 0 {
            writer.Write(buffer[:n])
        }
        if err == io.EOF {
            break
        }
        if err != nil {
            return err
        }
    }

    return writer.Flush()
}

这种方式比逐字节读写快得多，尤其适用于GB级以上文件。

基本上就这些。合理使用bufio能有效降低I/O开销，让程序更高效。

文中关于golang,bufio的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Golangbufio文件读写优化技巧》文章吧，也可关注golang学习网公众号了解相关技术文章。

golang bufio