三、平均互信息量 1. 定义：互信息
I(ai;bj) log2
p(aibj)p(ai)
I(ai) I(ai/bj)
(i 1,2, ,n;j 1,2, ,m)
在联合概率空间中的统计平均值。
平均互信息 I(X;Y) 2. 三种不同的表达方式：
p(aij)
p(ab)lo ij
p(ai)i 1j 1
n
m
I(X;Y) H(X) H(X/Y)
H(Y) H(Y/X)
H(X) H(Y) H(XY)
物理意义：（1）Y对X的平均互信息是对Y一无所知的情况下，X的先验不定度与收到 Y后关于X的后验不定度之差，即收到Y前、后关于X的不确定度减少 的量，也就是从Y获得的关于X的平均信息量。 3. 性质
由定义式I(X;Y)
p(a）p(b
i
i 1j 1
nm
j
/ai)log
p(aibj)p(ai)
我们可以知道
（1）平均互信息量I(X;Y)是输入信源概率分布{p(ai)}的上凸函数 （2）平均互信息量I(X;Y)是信道转移概率分布{p(bj/ai)}的下凸函数
四、最大连续熵定理
1. 限峰值功率的最大熵定理
若代表信源的N维随机变量的取值被限制在一定的范围之内，则在有限的定义域内， 均匀分布的连续信源具有最大熵。