一 校验数据的一般算法比较
都是通过对数据进行校验产生一个校验值，用来校验数据完整性。
不同点：
算法不同: CRC采用多项式除法，MD5和SHA1使用的是替换、轮转等方法；
校验值的长度不同:
CRC校验位的长度跟其多项式有关系，一般为16位或32位；
MD5是16个字节（128位）；
SHA1是20个字节（160位）；
安全性不同：这里的安全性是指检错的能力，即数据的错误能通过校验位检测出来。CRC的安全性跟多项式有很大关系，相对于MD5和SHA1要弱很多；MD5的安全性很；SHA1的安全性最高。
效率不同，CRC的计算效率很高；MD5和SHA1比较慢。
用途不同。CRC一般用作通信数据的校验，比如HDFS 通信过程数据完整性校验；MD5和SHA1用于安全领域，比如文件校验、数字签名等。
二Checksum（校验和）
Checksum:在数据处理和数据通信领域中，用于校验目的的一组数据项的和
HDFS为了保证数据的完整性，采用checksum进行数据校验，而具体Checksum类型主要包括：
>>NULL:不校验
>>CRC32(CyclicRedundancy Check): 采用32位的循环冗余校验码
>>CRC32C：
>>可以通过io.bytes.per.checksum属性设置，字节数默认是512 字节，创建一个单独的校验和，如果节点检测数据错误，就会报CheckSumException异常
>>除了在读取数据时进行验证，数据节点也会在后台运行一个线程
DataBlockscanner（数据块检测程序）周期性的验证存储在数据节点上的所有块。
一旦检测到corruptblock，在heartbeat阶段，DN会收到NN发来的BlockCommand，从其他数据块中拷贝一份新的replica（备份块）。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
