Go io.SectionReader 怎样按偏移读取大文件而不复制全部内容

处理大文件时，最容易踩的坑是先把整个文件读进内存，再从字节切片里取一段。Go 的 io.SectionReader 提供了更窄的做法：底层对象只要实现 io.ReaderAt，就可以用“绝对起点 + 区间长度”创建一个受限读取窗口，后续读取只暴露这个窗口，不需要复制完整文件。

下面以文件分片读取为例，重点看三个概念：创建时的偏移是相对底层文件的绝对位置；窗口内的 ReadAt 偏移则从零开始；读取超过窗口后会得到 io.EOF。

需要按偏移读取大文件的一小段时，优先让 *os.File 作为 io.ReaderAt，再调用 io.NewSectionReader(file, start, length)。它限制的是可见读取范围，不是把整文件预先复制到内存。

先把大文件划出一个读取窗口

io.ReaderAt 的语义是从指定偏移读取数据，*os.File 已经实现了这个接口。因此可以把文件的第 8 MiB 到第 10 MiB 视为一个独立片段，交给只认识 io.Reader 的下游函数处理。

package main

import (
    "fmt"
    "io"
    "os"
)

func readChunk(path string, start, length int64) ([]byte, error) {
    // 文件同时提供 ReaderAt；SectionReader 会把 start 和 length 封装成读取边界。
    file, err := os.Open(path)
    if err != nil {
        return nil, fmt.Errorf("打开文件失败: %w", err)
    }
    defer file.Close() // 读取窗口不负责关闭底层文件，资源仍由调用方管理。

    section := io.NewSectionReader(file, start, length)
    data, err := io.ReadAll(section)
    if err != nil {
        return nil, fmt.Errorf("读取文件片段失败: %w", err)
    }
    return data, nil
}

这里的内存开销与目标片段有关，而不是与整文件大小直接绑定。需要注意，io.ReadAll(section) 仍会把“片段本身”收集成字节切片；如果片段也很大，应继续把 section 传给流式解析器或分块读取循环，而不是再调用 ReadAll。

Read、ReadAt 和 Seek 的偏移边界要分清

创建窗口时的 start 是底层文件偏移，但窗口创建后，ReadAt(p, off) 的 off 是窗口内的局部偏移。例如窗口从文件第 1000 字节开始，ReadAt(buf, 20) 读取的是文件第 1020 字节附近的数据，而不是文件第 20 字节。

func inspectSection(file *os.File, start, length int64) error {
    // SectionReader 把局部坐标限制在 [0, length) 内。
    section := io.NewSectionReader(file, start, length)

    buf := make([]byte, 32)
    n, err := section.ReadAt(buf, 20)
    if err != nil && err != io.EOF {
        return fmt.Errorf("读取局部偏移失败: %w", err)
    }
    fmt.Printf("读取 %d 字节，窗口大小 %d\n", n, section.Size())

    // Seek 的位置同样属于窗口坐标，不能跳出这个 section。
    if _, err := section.Seek(0, io.SeekStart); err != nil {
        return fmt.Errorf("重置窗口位置失败: %w", err)
    }
    return nil
}

Read 使用窗口自己的当前位置；ReadAt 不依赖这个当前位置，适合多个固定片段的随机读取；Seek 和 Size 则帮助调用方管理窗口内的位置与长度。若请求覆盖了窗口末端，返回的字节数可能小于缓冲区长度，并伴随 io.EOF，不能只检查 n 而忽略错误。

大文件场景下怎样避免隐性复制

如果下游函数只需要 io.Reader，直接传入 section 即可，例如解压、哈希或协议解析器都可以在自己的读取循环中消费它。不要为了“先确认长度”而把底层文件读成 []byte，也不要把一个很大的窗口交给 io.ReadAll。

多个分片需要并行处理时，可以为每个分片创建自己的 SectionReader，再调用各自的 ReadAt。ReaderAt 的契约允许客户端并行发起读取，但实际吞吐仍受磁盘、网络文件系统和下游处理速度影响，不能把接口能力等同于性能保证。

文件关闭和越界区间是最后的检查点

SectionReader 只是一个读取视图，不拥有底层文件的关闭权。创建它的函数应负责 os.File.Close，并让错误带上“打开、读取片段”等上下文。start 和 length 来自外部输入时，先拒绝负数，再根据文件大小判断是否允许该区间；不要把异常的超大整数直接交给偏移计算。

另外，io.NewSectionReader 返回的是指针，不会因为窗口长度小就自动复制数据。它适合“已有随机读取能力、只想暴露一段范围”的场景；如果底层只有顺序 io.Reader，应先重新考虑数据源或使用有限读取器，而不是强行转换。

相关问题

SectionReader 会把整个文件加载到内存吗？

不会。它保存底层 ReaderAt、起点和长度，读取时再向底层请求目标范围；但调用方如果对很大的 section 使用 io.ReadAll，仍会把这个 section 收集到内存。

ReadAt 的偏移为什么不是文件绝对偏移？

因为 ReadAt 是在 SectionReader 这个视图上调用的，偏移从窗口起点算起。需要换算文件位置时，使用“窗口起点 + 局部偏移”，不要把两个坐标混用。