2. 限平均功率的最大熵定理
若信源输出信号的平均功率P和均值m被限定，则其输出信号幅度的概率密度函数为 高斯分布时，信源具有最大熵。 3. 均值受限条件下的最大连续熵定理
若连续信源X输出非负信号的均值受限，则其输出信号幅度呈指数分布时，连续信源 X具有最大熵。
五、编码的基本概念
1. 及时码：若码中任一码子都不是另一码子的字头，称该码为及时码。 2. 唯一可译码
3. 编码速率：设离散信源输出的消息为L重符号序列消息，信源编码器采用m进制信 道符号对离散消息进行编码，生成的m进制代码组的长度为K,则信源编
K
log2mLH(X)
编码效率：
R
码速率为：R
bit/符号
香农第一定理——离散无失真信源编码定理 1. 定长编码定理
由L个符号组成的，每个符号的熵为H(X) 的平稳无记忆符号序列X1X2......XL，可用K个符号Y1Y2......YK（每个符号有m种可能取值）进行定长编码，对任意ε>0, δ>0,只要
K
log2m H(X) L
则当L足够大时，必可使译码差错小于δ，反之，当
K
log2m H(X) 2 L
译码必定出错。
2. 变长编码定理
若一离散无记忆信源的符号熵为H(X)，对信源符号进行m元变长编码，已定存在一种失真编码方法，其码字平均长度满足不等式：