sha256 sum 与 gzip 命令输出不匹配

“纵有疾风来，人生不言弃”，这句话送给正在学习Golang的朋友们，也希望在阅读本文《sha256 sum 与 gzip 命令输出不匹配》后，能够真的帮助到大家。我也会在后续的文章中，陆续更新Golang相关的技术文章，有好的建议欢迎大家在评论留言，非常感谢！

我正在尝试计算 go 中 gzip 压缩文件的 sha256 总和，但我的输出与 gzip 命令的输出不匹配。

我有一个函数 compress，它可以对 io.reader（在我的例子中是一个文件）的内容进行 gzip 压缩。

func compress(r io.reader) (io.reader, error) {
    var buf bytes.buffer
    zw := gzip.newwriter(&buf)
    if _, err := io.copy(zw, r); err != nil {
        return nil, err
    }
    if err := zw.close(); err != nil {
        return nil, err
    }
    return &buf, nil
}

然后我有一个函数 sum256 来计算读取器的 sha256 和。

func sum256(r io.reader) (sum []byte, err error) {
    h := sha256.new()
    if _, err := io.copy(h, r); err != nil {
        return nil, err
    }
    return h.sum(nil), nil
}

我的主函数打开一个文件，对其进行 gzip 压缩，然后计算压缩内容的 sha256 总和。问题是输出与 gzip 命令的输出不匹配。输入文件 hello.txt 包含一行单词 hello ，末尾没有换行符。

func main() {
    uncompressed, err := os.open("hello.txt")
    if err != nil {
        log.fatal(err)
    }
    defer uncompressed.close()

    sum, err := sum256(uncompressed)
    if err != nil {
        log.fatal(err)
    }
    fmt.printf("%x  %s\n", sum, uncompressed.name())

    uncompressed.seek(0, 0)
    compressed, err := compress(uncompressed)
    if err != nil {
        log.fatal(err)
    }

    sum, err = sum256(compressed)
    if err != nil {
        log.fatal(err)
    }
    fmt.printf("%x  %s.gz\n", sum, uncompressed.name())
}

gzip 结果：

$ sha256sum hello.txt
2cf24dba5fb0a30e26e83b2ac5b9e29e1b161e5c1fa7425e73043362938b9824  hello.txt

$ gzip -c hello.txt | sha256sum
809d7f11e97291d06189e82ca09a1a0a4a66a3c85a24ac7ff389ae6fbe02bcce  -

$ gzip -nc hello.txt | sha256sum
f901eda57fd86d4239806fd4b76f64036c1c20711267a7bc776ab2aa45069b2a  -

我的程序结果：

$ go run main.go
# match
2cf24dba5fb0a30e26e83b2ac5b9e29e1b161e5c1fa7425e73043362938b9824  hello.txt
# mismatch
3429ae8bc6346f1e4fb67b7d788f85f4637e726a725cf4b66c521903d0ab3b07  hello.txt.gz

知道为什么输出不匹配或如何解决这个问题吗？我尝试过使用 io.pipe、ioutil.tempfile 文件以及其他具有相同问题的方法。

解决方案

特别请注意，如果运行命令：

gzip -c hello.txt

输出将包含文件名 hello.txt。您可以使用 hexdump 看到这一点：

$ touch hello.txt; gzip -c hello.txt | hexdump -C
00000000  1f 8b 08 08 ad 1b 14 5c  00 03 68 65 6c 6c 6f 2e  |.......\..hello.|
00000010  74 78 74 00 03 00 00 00  00 00 00 00 00 00        |txt...........|
0000001e

如果您只是将数据复制到程序中的 gzip 流中，则文件名将不存在。因此，您必须得到不同的结果，并且 sha-256 总和应该不同。

但是，即使您修复了这个特定缺陷...仍然不能保证通过在同一文件上运行 gzip 获得相同的结果。

如果您希望校验和相同，请对解压后的数据运行校验和。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于Golang的相关知识，也可关注golang学习网公众号。