Go gzip.Reader.Multistream 怎么处理拼接的 gzip 数据

把两个 gzip 文件直接拼接后交给 gzip.NewReader，默认不会在第一个成员结束时停下，而是继续读取下一个成员，并把两段解压内容连续返回。需要“把所有压缩成员当成一条数据流”时保持默认设置；需要读取每个成员的文件名、校验结果或独立内容时，应调用 Multistream(false)，每段读到 io.EOF 后再用 Reset 开始下一段。

一、默认模式适合把拼接数据当成一条流

gzip 格式允许多个完整成员首尾相接。Go 的 compress/gzip Reader 默认开启多成员支持：第一次 Read 消费完一个成员后，会继续识别下一个 gzip 头部，调用方看到的是连续的解压结果，而不是两个独立的 EOF。

这种模式适合日志分片、压缩传输或只关心最终字节序列的场景。不要把一次中间的短读误判成成员边界，真正的整体结束要等 Reader 返回 io.EOF。

package main

import (
	"bytes"
	"compress/gzip"
	"fmt"
	"io"
)

func readAsOneStream(data []byte) ([]byte, error) {
	// 默认 Multistream(true)，拼接成员会被当成连续的解压输入。
	zr, err := gzip.NewReader(bytes.NewReader(data))
	if err != nil {
		return nil, fmt.Errorf("create gzip reader: %w", err)
	}
	defer zr.Close() // Close 不会关闭底层 bytes.Reader。

	plain, err := io.ReadAll(zr)
	if err != nil {
		// ReadAll 读到最终 EOF 后，gzip 校验才完整落地。
		return nil, fmt.Errorf("read gzip members: %w", err)
	}
	return plain, nil
}

二、需要成员边界时关闭 Multistream

文件格式如果把每个 gzip 成员当作独立记录，就不能依赖默认合并行为。调用 zr.Multistream(false) 后，当前成员的校验和尾部读完时，Read 返回 io.EOF；这个 EOF 只代表当前成员结束，不一定代表底层拼接数据结束。

关闭多成员后，底层输入最好是 bufio.Reader 或其他实现了 io.ByteReader 的读取器。这样 gzip Reader 在成员尾部不会把下一个成员的头部吞进自己的缓冲区，调用方才能准确接着处理。

三、用 Reset 循环读取每个成员

下面的循环先创建一个 Reader，关闭多成员，再把当前成员完整复制到目标缓冲区。当前成员的 io.EOF 被视为正常边界；随后调用 Reset，若它返回 io.EOF，才说明底层已经没有下一个成员。

func readMembers(data []byte) ([][]byte, error) {
	// bufio.Reader 同时提供缓冲和 ReadByte，帮助 gzip Reader 保留成员边界。
	src := bufio.NewReader(bytes.NewReader(data))
	zr, err := gzip.NewReader(src)
	if err != nil {
		return nil, fmt.Errorf("create gzip reader: %w", err)
	}
	defer zr.Close()
	zr.Multistream(false)

	var members [][]byte
	for {
		var out bytes.Buffer
		if _, err := io.Copy(&out, zr); err != nil {
			return nil, fmt.Errorf("read member: %w", err)
		}
		// Copy 正常结束说明当前成员的校验也已完成。
		members = append(members, append([]byte(nil), out.Bytes()...))

		err := zr.Reset(src)
		if errors.Is(err, io.EOF) {
			// 没有下一个 gzip 成员，整个拼接输入处理完成。
			return members, nil
		}
		if err != nil {
			return nil, fmt.Errorf("reset for next member: %w", err)
		}
		zr.Multistream(false) // Reset 后重新声明逐成员模式。
	}
}

这段函数需要额外导入 bufio、bytes、compress/gzip、errors、fmt 和 io。复制到 out 后再保存一份字节，是为了让下一轮复用 Reader 时不影响已经收集的成员内容。

四、校验、资源和选型边界

gzip Reader 的数据在最终收到 EOF 前都应视为暂定结果；如果成员尾部校验失败，错误可能在最后一次读取时才出现。因此不要在只读到部分内容后就把成员标记为成功。Close 只关闭 gzip Reader，不会替调用方关闭文件、网络连接或 bufio.Reader 的底层资源。

如果你只想得到拼接后的完整明文，保持默认模式最简单；如果要按成员记录 Header 或单独重试，就关闭多成员并使用支持 io.ByteReader 的底层读取器。不要用“换一个更大的读取缓冲区”代替这个语义选择。

相关问题

Multistream(false) 返回的 EOF 是整个文件结束吗？

不是。它表示当前 gzip 成员结束；随后应调用 Reset，只有 Reset 返回 io.EOF 时才表示没有下一个成员。

为什么底层是普通 io.Reader 时逐成员不可靠？

gzip Reader 可能为了提升读取效率而提前读入更多字节，下一成员的头部可能已经进入内部缓冲，调用方就无法准确接管成员边界。

读到一半能直接 Close 并当作成功吗？

不建议。要让 gzip 校验完整执行，应持续读取到相应的 EOF，并区分读取错误；Close 本身不是校验成功信号。