Go hash/crc32 怎样为流式数据持续计算校验和

处理大文件、上传内容或消息流时，不必先把全部数据拼成一个大字节切片。Go 的 hash/crc32 可以把每个分块持续写入同一个 hash.Hash32，最后用 Sum32 取出数值；下一份数据到来前调用 Reset 即可复用计算器。

官方地址：https://pkg.go.dev/hash/crc32

最小做法是使用 crc32.NewIEEE() 创建计算器，按收到数据的顺序调用 Write，需要传输时用 Sum(nil) 得到 4 字节结果。CRC32 适合发现传输或存储中的意外变化，不是密码学安全哈希。

先选择正确的 CRC32 计算器

crc32.NewIEEE() 返回一个实现了 hash.Hash32 的计算器，使用常见的 IEEE 多项式。若协议明确要求其他多项式，再用 crc32.MakeTable 创建表并传给 crc32.New；不要只因为名称相似就混用两种结果。

package main

import (
	"fmt"
	"hash/crc32"
)

func main() {
	// NewIEEE 创建可持续 Write 的 CRC32 计算器，适合分块输入。
	h := crc32.NewIEEE()
	blocks := [][]byte{
		[]byte("header-"),
		[]byte("payload"),
	}

	for _, block := range blocks {
		// 每块按原顺序写入；不要在循环中 Reset，否则结果只剩最后一块。
		if _, err := h.Write(block); err != nil {
			panic(fmt.Errorf("写入 CRC32 失败: %w", err))
		}
	}

	// 使用十六进制展示固定宽度的 32 位校验值。
	fmt.Printf("%08x\n", h.Sum32())
}

这里的重点是“同一个计算器、按同一顺序、连续写入”。Write 不会把每块数据单独算出一个最终值，而是把新字节合并进当前 CRC32 状态。

把读取过程接到流式输入

如果输入本来就是 io.Reader，可以让 io.Copy 负责循环读取并把数据写入 CRC32。这样不会为了计算校验和额外构造一个完整副本。

package checksum

import (
	"hash/crc32"
	"io"
)

func streamCRC32(src io.Reader) (uint32, error) {
	h := crc32.NewIEEE()
	// io.Copy 会分块读取 src，并把每块交给 h.Write。
	if _, err := io.Copy(h, src); err != nil {
		// 读取端出错时返回错误，不能把不完整的数据当成有效校验和。
		return 0, err
	}
	return h.Sum32(), nil
}

文件、HTTP 请求体或消息消费者都可以作为 src。是否需要限制输入长度、超时或取消读取，仍由外层的 Reader 和业务边界负责；CRC32 本身只负责更新校验状态。

读取结果时区分 Sum32、Sum 和 Reset

Sum32() 适合得到 uint32 数值，便于比较或格式化；Sum(dst) 会把当前摘要追加到 dst 后面。传输协议若要求 4 字节摘要，可以使用空切片作为目标并保留字节表示。

// h 已经接收完一份完整输入。
number := h.Sum32()
// Sum 会把当前 CRC32 以大端序追加到 dst；nil 会得到独立的 4 字节切片。
wireBytes := h.Sum(nil)
fmt.Printf("number=%08x bytes=%x\n", number, wireBytes)

// 一份输入处理结束后清空内部状态，下一份输入从初始 CRC32 状态开始。
h.Reset()

调用 Sum 只读取当前结果，不会清空状态，所以可以先记录结果，再决定是否继续追加数据。只有确认上一份输入结束后才调用 Reset。

几个容易混淆的边界

CRC32 能发现许多随机传输错误，但不能抵御主动篡改，也不能替代密码学哈希、消息认证码或数字签名。若双方使用的多项式、字节顺序或输入范围不一致，结果也会不同。

相关问题

为什么分块计算的结果应与一次性计算一致？

只要字节顺序完全一致，连续 Write 处理的是同一串输入；分块方式只改变读取方式，不改变 CRC32 的累计过程。

什么时候使用 crc32.Update？

已有 uint32 状态和明确的 *crc32.Table 时，可以用 Update 继续追加字节。面向普通流式 Reader 时，NewIEEE 加 Write 更直观。