Go flate.NewReaderDict 字典不匹配会发生什么

flate.NewReaderDict 收到错误字典时，不保证在创建读取器时立刻报错，也不保证读取时一定报错。最危险的情况是：io.ReadAll 返回 nil 错误，但解压出来的字节已经被错误字典中的内容替换。只有当 DEFLATE 距离引用超出当前历史窗口等结构条件不成立时，读取阶段才更可能返回 flate.CorruptInputError。

因此，判断标准不能只是“有没有 error”。生产协议至少要同时检查字典身份、限制解压后的最大长度，并验证原文摘要或认证标签。

Go 官方文档：https://pkg.go.dev/compress/flate

DEFLATE 规范：https://www.rfc-editor.org/rfc/rfc1951.html

先给结论：错误字典有三种常见结果

NewReaderDict 的签名是 func NewReaderDict(r io.Reader, dict []byte) io.ReadCloser，没有构造期错误返回值。它只是把传入字典放进解压器的历史窗口，真正的解析发生在后续 Read 调用中。

Go 官方 Dictionary 示例也采用“把字典字节替换成 #”的方式说明这一点：错误字典仍能参与距离复制，于是输出中的相应片段变成了另一组字节。

为什么错字典有时能“成功”读完

DEFLATE 的重复字符串不是直接写入压缩流，而是用“长度 + 向后距离”引用历史窗口。NewReaderDict 把字典视为已经读过、但不应输出的前置历史。读取到距离引用后，解压器只知道“从历史中向后取多少字节”，并不知道这些字节在业务上应该是什么。

这形成两个不同的失败边界：

• 结构失败：错误字典太短，距离超过可用历史，解压器能够判断输入无法成立，返回 CorruptInputError。
• 语义失败：错误字典长度足够，距离合法，但被引用位置的内容不同；解压器会复制“合法但错误”的字节，原始 DEFLATE 本身没有业务原文校验可以替你发现它。

换句话说，flate 的 error 适合判断格式能否继续解码，不等于判断业务内容是否正确。

用最小程序同时检查 error 和原文

下面的示例先用正确字典压缩，再分别用正确字典与错误字典解压。示例不依赖某一种固定错误表现，而是把“读取错误”和“内容不一致”都当成失败。

package main

import (
	"bytes"
	"compress/flate"
	"fmt"
	"io"
)

func compress(src, dict []byte) ([]byte, error) {
	var dst bytes.Buffer
	w, err := flate.NewWriterDict(&dst, flate.DefaultCompression, dict)
	if err != nil {
		return nil, err
	}
	// 写入后必须关闭 Writer，确保尾部块完整刷入缓冲区。
	if _, err := w.Write(src); err != nil {
		_ = w.Close()
		return nil, err
	}
	if err := w.Close(); err != nil {
		return nil, err
	}
	return dst.Bytes(), nil
}

func decompress(payload, dict []byte) ([]byte, error) {
	// NewReaderDict 不返回构造错误，字典问题要在读取阶段继续判断。
	r := flate.NewReaderDict(bytes.NewReader(payload), dict)
	defer r.Close()
	return io.ReadAll(r)
}

func main() {
	goodDict := []byte("tenant=demo;region=cn;kind=order;")
	wrongDict := []byte("tenant=xxxx;region=xx;kind=xxxxx;")
	src := []byte("tenant=demo;region=cn;kind=order;id=42")

	payload, err := compress(src, goodDict)
	if err != nil {
		panic(err)
	}

	for _, item := range []struct {
		name string
		dict []byte
	}{
		{name: "正确字典", dict: goodDict},
		{name: "错误字典", dict: wrongDict},
	} {
		got, readErr := decompress(payload, item.dict)
		// 不能只看 readErr；内容相等才表示本次还原正确。
		fmt.Printf("%s: readErr=%v, equal=%v, output=%q\n",
			item.name, readErr, bytes.Equal(got, src), got)
	}
}

不同输入、压缩级别和字典内容会改变压缩器是否引用字典，也会改变错误字典触发显式错误还是静默错误输出。测试应断言原文字节或协议校验值，而不要把某一条演示输出写死成所有场景的规律。

从资产和失效路径看风险

需要保护的不是压缩率，而是解压后内容的身份、完整性和资源边界。字典错配通常来自部署滚动升级、缓存键漏掉版本、生产者和消费者配置漂移，或消息元数据被改写。

字典通常不是秘密，不应把“只有双方知道字典”当作安全控制。若链路中的元数据可被攻击者修改，普通哈希也不足以防篡改；应在外层消息协议中使用 MAC 或数字签名。

把错配变成可观察、可拒绝的协议错误

一个实用封装可以包含 dictID、压缩数据和解压后内容摘要。读取时先按 ID 从只读注册表取得字典，再施加输出上限，最后校验摘要。只有全部通过，内容才进入 JSON、Protobuf 或数据库解析器。

package safeinflate

import (
	"bytes"
	"compress/flate"
	"crypto/sha256"
	"errors"
	"fmt"
	"io"
)

type Envelope struct {
	DictID      string
	Payload     []byte
	ContentHash [sha256.Size]byte
}

type Registry map[string][]byte

func Decode(env Envelope, registry Registry, maxOutput int64) ([]byte, error) {
	dict, ok := registry[env.DictID]
	if !ok {
		// 未知 ID 必须失败关闭，不能回退到空字典或“最新字典”。
		return nil, fmt.Errorf("未知压缩字典 %q", env.DictID)
	}
	if maxOutput  maxOutput {
		return nil, fmt.Errorf("解压结果超过 %d 字节", maxOutput)
	}

	// 哈希用于发现错字典或偶然损坏；不可信链路还要校验 MAC/签名。
	if got := sha256.Sum256(plain); got != env.ContentHash {
		return nil, errors.New("解压内容校验失败")
	}
	return plain, nil
}

字典 ID 推荐使用带版本的稳定名称，例如 order-v3，同时在注册表中保存字典文件的 SHA-256 摘要。ID 便于运维定位，摘要防止同名文件被悄悄替换，两者职责不同。

什么时候应该改用 compress/zlib

如果协议不是必须交换“裸 DEFLATE”字节，可以评估 compress/zlib。Go 的 zlib.NewReaderDict 会在压缩数据引用另一份字典时返回 zlib.ErrDictionary，zlib 容器还提供数据校验并可能返回 zlib.ErrChecksum。

zlib 官方文档：https://pkg.go.dev/compress/zlib

但这不意味着可以取消所有业务校验：仍要限制输出大小、验证消息身份，并为字典版本制定兼容和下线策略。若既有协议规定使用 raw DEFLATE，就在外层 envelope 中补齐这些字段，而不是私自切换格式。

上线前的验证清单

• 正确字典：解压内容与原文逐字节相等。
• 同长度错误字典：即使读取不报错，内容校验也必须失败。
• 短字典、空字典和未知字典 ID：必须被明确拒绝，不能自动回退。
• 压缩数据截断或位翻转：读取错误或完整性校验必须失败。
• 解压结果超过业务上限：停止读取并返回可观测错误。
• 滚动升级期间：新旧消费者都能按消息中的 ID 取得对应字典，旧字典在存量数据过期前不能删除。
• 审计字段：记录字典 ID、协议版本、压缩字节数、解压字节数和失败类别，但不要记录敏感原文。

常见问题

字典不匹配一定会返回 flate.CorruptInputError 吗？

不一定。距离引用越界时可能返回该错误；错误字典长度足够时，也可能成功读取却得到错误字节。

只比较解压后的 JSON 能否解析成功够不够？

不够。错误字节仍可能组成合法 JSON，却改变字段值。应先验证原文摘要或认证标签，再做结构解析和业务校验。

可以在读取失败后自动尝试所有历史字典吗？

不建议。盲试会扩大资源消耗，也让错误内容偶然通过的路径更复杂。消息应携带唯一字典 ID，未知 ID 直接失败。

NewReaderDict 和 zlib.NewReaderDict 的字典错误行为一样吗？

不一样。flate.NewReaderDict 面向 raw DEFLATE，不在构造期验证字典身份；zlib.NewReaderDict 读取 zlib 容器，可针对字典不匹配返回 ErrDictionary。

最终结论很简单：flate.NewReaderDict 的错误返回只能证明解码结构是否成立，不能证明字典和原文正确。把字典身份、输出上限和内容完整性都放进协议，才能把“偶尔乱码”变成稳定、可观测、可拒绝的错误。