第二章 信源熵
一、自信息量
1. 定义：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息。定 义为其发生概率对数的负值。若随机事件发生ai的概率为p(ai)，那么它的自信 息量为：I(ai) log2p(ai) （bit）
2. 性质：在事件发生前，I(ai)表示该事件发生的不确定性。 在事件发生后，I(ai)表示事件发生所提供的信息量。 二、信源熵
1. 定义： 已知单符号离散无记忆信源的数学模型
我们定义信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信
n
1
] p(ai)log2p(ai) 源的平均信息量： H(X) E[I(ai)] E[log2
p(ai)i 1
, ai, , an X a1, a2,
P(X) p(a),p(a), ,p(a), ,p(a) 12in
2. 信源熵与平均自信息量之间的区别
两者在数值上是相等的，但含义不同。信源熵表征信源的平均不确定度，平均自信息量是消除不确定度所需要的信息的度量。信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，该熵值在总体平均的意义上才有意义，因而是一个确定值， 。在离散信源的情况下，信源熵的值是有限的。而信息量只有当信源输出离散消息并被接收后，才有意义，这就是给予接收者的信息度量。
3. 最大离散熵定理：信源X中包含n个不同离散消息时，信源熵H(X)有： H(X) log2n
当且仅当X中各个消息出现的概率全相等时，上式取等号。
4. 扩展信源的信源熵：N次扩展信源的信源熵：H(X) NH(X)
N