信源熵编码

～之特立独

编码的一个重要目的是压缩 。举个例子就是把100MB的原始数据，压缩成10MB的数据，这个过程就需要编码。那么怎么编码才能不失真呢？就是说解码后可以完全恢复原始数据。那么就需要用信息熵来计算数据压缩的理论极限。那什么是熵编码？在信息熵的极限范围内进行编码就是熵编码。例如信息熵算出来是3bit/字符，那么用4bit/字符来编码，这就是熵编码，如果用2bit/字符来编码，就不叫熵编码，因为这种情况下，就失真了。从这里也看以看出，信源熵是编码这个信源平均所需要的最小位数。所以，熵编码是无损压缩的。那么为什么又要有这么多的编码标准呢？又是Huffman，又是算术编码、行程编码 ，又是有损，又是无损，这些不过是人类在寻求一种最优化的权衡而已，因为既想拥有较好的压缩比，又不想失真，同时更想降低算法复杂度，让电脑在编码的时候可以再快点，编码后数据量再小点，最后还希望能再精确点。