首页 > Golang > Go教程

Golang大文件读取技巧：bufio.Reader使用方法

时间：2025-12-15 12:24:48 431浏览收藏

推广推荐

免费电影APP ➜

支持 PC / 移动端，安全直达

你在学习Golang相关的知识吗？本文《Golang大文件读取技巧 bufio.Reader用法》，主要介绍的内容就涉及到，如果你想提升自己的开发能力，就不要错过这篇文章，大家要知道编程理论基础和实战操作都是不可或缺的哦！

使用bufio.Reader按行或块读取大文件可避免内存溢出。1. 按行读取适合文本文件，用Scanner或ReadBytes处理；2. 自定义缓冲区大小提升I/O性能；3. 按固定块读取适用于二进制或超大行文件，控制内存使用。

Golang如何读取大文件_Golang bufio.Reader大文件读取方法

在Golang中读取大文件时，直接使用 os.ReadFile 会将整个文件加载到内存，容易导致内存溢出。对于大文件，推荐使用 bufio.Reader 按行或按块读取，实现高效且低内存消耗的处理方式。

使用 bufio.Reader 按行读取大文件

适用于日志文件、CSV 等以行为单位的文本文件。通过 bufio.NewReader 包装文件句柄，逐行读取内容。

package main

import (
    "bufio"
    "fmt"
    "log"
    "os"
)

func readLargeFileByLine(filename string) {
    file, err := os.Open(filename)
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()

    scanner := bufio.NewScanner(file)
    for scanner.Scan() {
        line := scanner.Text()
        // 处理每一行
        fmt.Println(line)
    }

    if err := scanner.Err(); err != nil {
        log.Fatal(err)
    }
}

说明： bufio.Scanner 默认使用 bufio.Reader，每次读取一行，适合大多数场景。默认缓冲区大小为 4096 字节，可自动扩容。

自定义缓冲区大小提升性能

如果文件行较长或希望优化 I/O 性能，可以手动创建带指定缓冲区的 bufio.Reader。

func readWithCustomBuffer(filename string) {
    file, err := os.Open(filename)
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()

    reader := bufio.NewReaderSize(file, 64*1024) // 64KB 缓冲区
    buf := make([]byte, 0, 64*1024)

    for {
        line, err := reader.ReadBytes('\n')
        if err != nil && len(line) == 0 {
            break // 文件结束
        }
        buf = append(buf[:0], line...)
        // 处理 line 数据（注意：line 包含 \n）
        fmt.Printf("Read: %s", string(buf))
    }
}

说明： 使用 ReadBytes('\n') 可精确控制换行符读取，配合大缓冲区减少系统调用次数，提高吞吐量。

按固定块大小读取二进制或超大行文件

对于非文本文件或包含极长行的文件，建议使用 Read 方法按固定字节块读取。

func readInChunks(filename string) {
    file, err := os.Open(filename)
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()

    reader := bufio.NewReader(file)
    chunk := make([]byte, 32*1024) // 32KB 块

    for {
        n, err := reader.Read(chunk)
        if n > 0 {
            // 处理 chunk[0:n]
            processChunk(chunk[:n])
        }
        if err != nil {
            break
        }
    }
}

func processChunk(data []byte) {
    // 自定义处理逻辑
    fmt.Printf("Process %d bytes\n", len(data))
}

说明： 这种方式适用于日志压缩包、视频、数据库导出等大体积文件，避免因单行过长导致内存暴涨。

基本上就这些。根据文件类型选择合适的读取方式，结合 bufio.Reader 能有效控制内存使用，安全地处理 GB 级甚至更大的文件。不复杂但容易忽略的是缓冲区大小和换行符处理细节。

终于介绍完啦！小伙伴们，这篇关于《Golang大文件读取技巧：bufio.Reader使用方法》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布Golang相关知识，快来关注吧！

golang 大文件读取