Go gzip.Reader 怎么逐段读取拼接的 gzip 成员

要逐段读取拼接的 gzip 成员，核心是把 gzip.Reader 的默认多流模式关掉：每轮调用 Multistream(false)，把当前成员完整读到 io.EOF，然后对同一个缓冲输入执行 Reset。这样每个成员的 Header、解压正文和校验结果都能独立处理。

• 输入层：统一使用 bufio.Reader，让底层满足 io.ByteReader。
• 成员层：每轮只消费一个 gzip member，并保留当前 Header。
• 安全层：限制单成员解压后的最大字节数，超限立即拒绝整个输入。

先看清拼接 gzip 的成员结构

gzip 文件允许连续拼接多个独立成员，每个成员都有自己的 Header、Deflate 数据和 Trailer。Go 的 gzip.Reader 默认启用 multistream，会把所有成员的解压内容连续交给调用者，而且 Reader 字段只记录第一个 Header。这适合“把它当一个大文件读”，却不适合按成员名称、注释或业务分片分别保存。

逐段读取时要把“成员结束”当成明确边界。关闭 multistream 后，当前成员完成 Trailer 校验就返回 io.EOF；下一次 Reset 才读取下一个 Header。如果已经没有下一个成员，Reset 会返回 io.EOF。

用 Multistream(false) 和 Reset 逐个读取

下面的函数接收一个拼接 gzip 输入，并通过 openMember 为每个成员创建独立输出。Header 必须在当前轮读取前复制使用，因为下一次 Reset 会更新 Reader 内嵌的 Header 字段。

package multigzip

import (
    "bufio"
    "compress/gzip"
    "errors"
    "fmt"
    "io"
)

type OpenMember func(index int, header gzip.Header) (io.WriteCloser, error)

func ReadMembers(src io.Reader, maxBytes int64, openMember OpenMember) error {
    br := bufio.NewReader(src) // 统一缓冲，并提供 io.ByteReader 能力

    zr, err := gzip.NewReader(br)
    if errors.Is(err, io.EOF) {
        return nil // 空输入没有 gzip 成员
    }
    if err != nil {
        return fmt.Errorf("读取首个 gzip header: %w", err)
    }
    defer zr.Close() // gzip.Reader 不会替调用者关闭 src

    for index := 0; ; index++ {
        zr.Multistream(false) // 本轮只解压一个成员
        header := zr.Header   // Reset 前保存本成员元数据

        dst, err := openMember(index, header)
        if err != nil {
            return fmt.Errorf("创建成员 %d 输出: %w", index, err)
        }

        // 多读取 1 字节，用于准确判断成员是否超过安全上限。
        n, copyErr := io.Copy(dst, io.LimitReader(zr, maxBytes+1))
        closeErr := dst.Close()

        if copyErr != nil {
            return fmt.Errorf("解压成员 %d: %w", index, copyErr)
        }
        if closeErr != nil {
            return fmt.Errorf("关闭成员 %d 输出: %w", index, closeErr)
        }
        if n > maxBytes {
            return fmt.Errorf("成员 %d 解压后超过 %d 字节", index, maxBytes)
        }

        // 当前成员已读到 EOF 并完成校验，进入下一个 Header。
        if err := zr.Reset(br); errors.Is(err, io.EOF) {
            return nil
        } else if err != nil {
            return fmt.Errorf("读取下一个 gzip header: %w", err)
        }
    }
}

这段代码有两个关键点。第一，gzip 与 Reset 始终读取同一个 br，不能在循环中重新包装底层连接。第二，正常成员必须被读到 EOF，Go 才会核对 Trailer 中的长度和校验和；如果返回 gzip.ErrChecksum，本成员内容应视为不可信。

给每个成员单独设置输出与安全边界

拼接 gzip 常见于日志分片、批量对象和自定义容器。风险不只来自格式错误，也包括压缩后很小、解压后异常膨胀的成员。因此限制应放在“解压后的单成员输出”上，而不是只检查压缩包文件大小。

openMember 可以按 index 生成输出，也可以使用 Header.Name，但不要直接把外部提供的 Name 拼进文件路径。更稳妥的做法是把它当显示元数据，落盘文件名由系统自己生成，避免 ../、绝对路径或同名覆盖。

如何调用并记录每个成员

err := ReadMembers(input, 64

如果业务要求“全部成功才可见”，不要在回调里直接写最终目录，可以先写隔离的临时目录，全部成员成功后再整体提交。这样第三个成员校验失败时，前两个成员不会被误认为完整批次。

常见问题 1：只想拿到所有正文，还需要关闭 multistream 吗？
不需要。默认模式正适合把所有成员当成连续解压内容；只有需要逐成员 Header、独立输出或成员级限制时才关闭。

常见问题 2：为什么每轮都要再次调用 Multistream(false)？
Reset 会把 Reader 恢复为新建状态，而默认状态支持 multistream，所以进入新成员后要再次关闭。

常见问题 3：Close 能替代完整读取吗？
不能。gzip 校验发生在读取抵达成员末尾时，提前 Close 不会替你消费剩余数据并完成校验。

总结起来，逐段读取不是反复 NewReader，而是“一个共享的 ByteReader + 一个复用的 gzip.Reader + 每轮关闭 multistream + Reset”。再配合单成员容量限制、独立 Writer 和失败即停策略，就能同时保留成员信息与清晰的安全边界。