T
checksum crc xxhash data-integrity security cryptography performance networking

校验和算法与非加密哈希全攻略：从 CRC 到 xxHash

全面解析 CRC-8/16/32/64、Adler-32、xxHash、MurmurHash 以及各类专用加密哈希。了解如何为错误检测、数据完整性验证和高性能哈希表选择正确的算法。

2026-04-11 使用此工具

在计算机科学和数据传输领域，确保数据在传输或存储过程中保持完整、未被篡改是一项基本挑战。无论是在网络上传输文件、在磁盘上存储数据，还是实现高性能哈希表，你都需要一种方法来验证接收到的数据是否与发送时完全一致。这就是**校验和 (Checksum)和哈希函数 (Hash Function)**的用武之地。

虽然这两个术语经常被混用，但校验和与加密哈希的设计初衷截然不同。本指南将深入探讨各种校验和算法系列——特别是循环冗余校验 (CRC) 和 Adler-32，以及 xxHash、MurmurHash 等高性能非加密哈希，并介绍 SM3、RIPEMD-160 等专用加密标准。

1. 校验和 vs. 哈希：错误检测 vs. 安全性

在深入研究具体算法之前，理解校验和与加密哈希函数之间的区别至关重要。

校验和 (错误检测)

校验和是从数字数据块派生的一个小尺寸数据，用于检测数据在传输或存储过程中可能引入的错误。

  • 主要目标： 检测偶然的变化（噪声、比特翻转、传输错误）。
  • 设计重心： 速度和效率。它们被设计为可以快速计算，通常可以直接在硬件中实现。
  • 弱点： 它们不具备“对抗安全性”。恶意攻击者可以轻松修改数据并同时修改校验和以实现匹配。

加密哈希 (安全性)

加密哈希函数是一种数学算法，可将任意大小的数据映射到固定大小的比特串。

  • 主要目标： 防止故意篡改，确保安全性和完整性。
  • 设计重心： 抗碰撞性（很难找到两个具有相同哈希的输入）和抗原像攻击（很难根据哈希值逆推数据）。
  • 性能： 通常比校验和慢，因为它们需要执行多轮复杂的数学运算来确保安全性。

非加密哈希 (数据结构)

这些算法介于两者之间。它们比加密哈希快得多，但比简单的校验和提供更好的分布特性和更少的碰撞。它们是实现哈希表和布隆过滤器的理想选择。

2. 循环冗余校验 (CRC) 系列

循环冗余校验 (CRC) 可能是数字网络和存储设备中使用最广泛的错误检测代码。其名称源于它使用基于多项式除法的“循环”代码。

CRC 的工作原理

CRC 将数据块视为一个巨大的二进制数，并将其除以一个特定的“生成多项式”。该除法的余数就是 CRC 值（即校验和）。如果数据发生改变，除法将产生不同的余数。

CRC 家族树

CRC-8

  • 多项式： 常用于 ATM (0x07) 或 1-Wire (0x31)。
  • 应用场景： 小数据包、传感器网络 (I2C/SMBus) 和低功耗物联网设备。

CRC-16 与 CRC-16/CCITT

  • CRC-16-IBM (0x8005)： 用于 Modbus 和 USB。
  • CRC-16/CCITT (0x1021)： 用于 X.25、HDLC 和蓝牙。
  • 优势： 极擅长检测所有单比特和双比特错误以及大多数突发错误。

CRC-32 与 CRC-32C

  • CRC-32 (IEEE 802.3)： 以太网、Gzip、PNG 和 ZIP 中使用的“标准”CRC。它使用多项式 0x04C11DB7。
  • CRC-32C (Castagnoli)： 使用多项式 0x1EDC6F41。其重要性在于现代 CPU（Intel Nehalem 及以后，ARMv8）包含专门针对此多项式的硬件指令（SSE4.2 中的 CRC32），使其计算速度极快。常用于 iSCSI、SCTP、Btrfs 和 Ext4。

CRC-64

  • CRC-64/ISO： 用于 HDLC 和各种存储协议。
  • CRC-64/XZ： 用于 XZ 压缩格式。
  • 益处： 提供极低的碰撞概率（1800 亿亿分之一），适用于去重和验证大规模数据集。

3. Adler-32：Zlib 的最爱

Adler-32 由 Mark Adler 发明，主要用于 zlib 压缩库（Gzip 和 PNG 的核心）。

算法原理

与使用多项式除法的 CRC 不同，Adler-32 基于加法。它计算两个 16 位校验和（A 和 B），并将它们连接成一个 32 位结果。

  • A = 1 + data[0] + data[1] + ... + data[n] (mod 65521)
  • B = (1 + data[0]) + (1 + data[0] + data[1]) + ... (mod 65521)

Adler-32 vs. CRC-32

  • 速度： 在软件实现中，Adler-32 明显快于 CRC-32。
  • 可靠性： 对于非常短的消息（少于几百字节），它不如 CRC-32 可靠，因为“B”和的分散性较差。对于大文件，它通常足以检测随机错误。

4. 专用加密哈希

虽然 SHA-256 是当今安全领域的王者，但在特定语境下仍会使用其他专用或区域性加密哈希。

RIPEMD-160

在欧洲开发，作为 NSA 设计的 SHA-1 的开放替代方案。

  • 传承： 它最著名的用途是 比特币地址。比特币的公钥哈希是先使用 SHA-256 再使用 RIPEMD-160 计算得到的。这在保持高安全性的同时提供了一个较短的 160 位标识符。

Whirlpool

一种基于修改版高级加密标准 (AES) 的 512 位哈希函数。

  • 地位： 它是 ISO/IEC 10118-3 国际标准的一部分。以极高的安全余量著称，但速度比 SHA 系列慢。

Tiger-192

专门针对 64 位架构设计，当时大多数哈希（如 MD5 和 SHA-1）仍在针对 32 位系统进行优化。

  • 应用场景： 常用于 Gnutella 等点对点文件共享网络中的文件识别。

SM3

中国国家密码管理局发布的密码哈希标准。

  • 背景： “国密”系列的一部分。其结构与 SHA-256 类似，但具有不同的常数和旋转函数。是中国政府和金融应用中的强制性标准。

5. 高性能非加密哈希

对于构建高速系统的开发者来说，加密安全性往往是过度设计。如果你只需要尽可能快地将键放入哈希图中，以下算法是行业标准。

xxHash (XXH3)

由 Yann Collet 创建（他也是 LZ4 和 Zstd 的作者）。

  • 性能： 它是目前速度最快的非加密哈希，计算速度接近 RAM 的极限。
  • 应用场景： 用于 RocksDB、Presto 和许多数据处理引擎。

MurmurHash (Murmur3)

由 Austin Appleby 创建。

  • 优势： 出色的分布特性和简洁性。它是许多哈希表实现的默认哈希，包括 Java、Ruby 和旧版 Python。

FNV (Fowler-Noll-Vo)

FNV 哈希旨在极其容易实现，只需几行代码。

  • 机制： 使用一系列乘法（乘以一个素数）和异或 (XOR) 操作。
  • 应用场景： 适用于代码空间受限的小字符串和嵌入式系统。

SipHash

与其他算法不同，SipHash 是一种“带密钥”的哈希函数。

  • 问题： 标准哈希函数容易受到 哈希洪水攻击 (Hash Flooding Attacks)。攻击者通过发送特定键引发大量碰撞，使服务器性能大幅下降，导致拒绝服务 (DoS)。
  • 解决方案： SipHash 使用一个秘密密钥来随机化哈希结果，使攻击者无法预测碰撞。它现在是 Rust、Python、Ruby 和 Perl 中处理字符串的默认哈希。

6. 详细对比表

算法 输出大小 类型 速度 抗碰撞性 最佳用途
CRC-32 32-bit 校验和 高 中等 网络, PNG, Gzip
CRC-32C 32-bit 校验和 极高 (硬件) 中等 iSCSI, Btrfs, Kafka
Adler-32 32-bit 校验和 高 低 (短消息) Zlib, Gzip 内部
xxHash3 64/128-bit 非加密 极致 高 大数据, 数据库
Murmur3 32/128-bit 非加密 高 高 哈希表
SipHash 64-bit 带密钥哈希 中等 极高 防止哈希洪水攻击
SM3 256-bit 加密 低 极致 中国国家标准
RIPEMD-160 160-bit 加密 低 极高 比特币地址

7. 实际应用案例

网络通信

当你的计算机通过以太网发送数据包时，末尾会附加一个 CRC-32。接收端硬件会重新计算 CRC。如果不匹配，数据包将被丢弃。这种操作每秒发生数百万次，而你根本察觉不到。

磁盘存储与文件系统

现代文件系统如 ZFS 和 Btrfs 为每个数据块存储一个校验和。当你读取文件时，系统会验证哈希值（通常是 CRC-32C 或 SHA-256）以检测“比特衰减 (bit rot)”——即数据在硬盘上随时间推移发生的静默损坏。

编程语言 (哈希表)

当你在 Python 中创建字典 (dict) 或在 Java 中创建 HashMap 时，语言会使用哈希函数决定数据在内存中的存储位置。

  • Python： 使用 SipHash 来防止攻击者利用大量键碰撞使应用崩溃。
  • Redis： 使用 MurmurHash2 进行内部索引。

8. 代码示例

在 Node.js 中计算 CRC-32

Node.js 内置的 zlib 模块提供了 CRC-32 功能。

const zlib = require('zlib');

const data = Buffer.from('你好，校验和世界！');
const crc = zlib.crc32(data);

console.log(`CRC-32: ${crc.toString(16)}`);

在 Python 中使用 xxHash

对于大规模数据的高速哈希，可以使用 xxhash 库。

import xxhash

data = b"Large dataset content..."
h = xxhash.xxh64(data, seed=0)

print(f"xxHash64: {h.hexdigest()}")

9. 常见问题解答 (FAQ)

问：我可以使用 CRC-32 进行密码哈希吗？ 答：绝对不行。 CRC-32 是为错误检测设计的校验和。攻击者可以轻易构造出一个具有相同 CRC-32 值的不同密码。密码应使用 Argon2、bcrypt 或 scrypt。

问：为什么 CRC-32C 比 CRC-32 快？ 答：硬件加速。 绝大多数现代 Intel 和 AMD CPU 都有特定的指令 (CRC32)，可以在几个时钟周期内完成 Castagnoli (CRC-32C) 多项式的计算。

问：什么时候该选 MurmurHash 而非 xxHash？ 答：实现简易性。 如果你正在从零开始编写哈希表且无法引入外部库，Murmur3 通常比高度优化的 xxHash 更容易手动实现。

问：Adler-32 优于 CRC-32 吗？ 答：仅在速度上（旧硬件）。 在支持硬件 CRC 指令的现代硬件上，CRC-32C 通常更快且更可靠。Adler-32 目前主要保留用于 zlib 格式的向后兼容。

总结

选择正确的算法完全取决于你的约束条件：

  • 在存储或网络中追求高速数据完整性时，使用 CRC-32C。
  • 在内部数据处理和大数据任务中，使用 xxHash。
  • 在面临不可信用户输入的哈希表场景下，使用 SipHash。
  • 在需要安全性且抗加密攻击的场景下，使用 SHA-256 或 SM3。

理解这些工具能确保你的系统既快速又可靠，同时保护你的数据免受偶然噪声和恶意篡改的影响。

返回博文列表 哈希生成器 →