证明 设f是信源U的最优的1-分组编码。令U的n个符号的分别为ai,对应的概率为pi,在某编码下,对应码字长为li。假设存在两个符号ai,aj,有pi >pj且li > lj, 则pi li + pj lj > pi lj+ pj li 。因此,对调ai与aj的码字后,可以得到平均码长更小的编码。这与f的最优性矛盾。 证毕
命题5.3最优编码充分用短字符串作为码字。设f是某信源的最优编码,最大码字长为L,则任何长度小于L的串一定是f的某个码字的前缀。
证明 留给读者。 证毕 6. 本讲要点小结
1) 平均码长的定义和物理意义。 2) 平均码长的应用:
(1) 估计无失真编码的码元序列长度≈信源序列长度×平均码长
这表明,无失真编码的平均码长越小,压缩能力越强。
(2) 计算无失真编码的码率=信源熵/平均码长
(3) 计算无失真编码的效率=码率/码元最大熵=信源熵/(平均码长×码元最大熵) 这表明,编码效率与平均码长是反比关系,从而无失真编码的数据压缩功能与提高信息传输率的功能是一致的。 3) 无失真编码的绝对最优性和相对最优性:
(1) 绝对最优性:编码效率=1的无失真编码是该信源的绝对最优无失真编码。一般
不存在,是可以逼近的理想目标。 (2) 相对最优性:在所有元数固定且分组长度也固定的无失真编码中,编码效率最
大或者平均码长最小的码是相对最优无失真编码。一定存在,是可以实现的目标。 4) 实现无失真信源编码的数据压缩功能的唯一途径是,尽可能地缩小平均码长。
6 / 6