H ( X 1 X 2 L X N )?? H ( X 1 )?? H ( X 2 | X 1 )?? L?? H ( X N | X 1 X 2 L X N??1 )
H ( X N | X 1 X 2 L X N??1 ) )|(log)( L 12121 NNN xxxxPxxxP??????????????????????????????????????????????????LL X 1 X 2 X N
而
??????L?? P( x1 x2 L x N??1 )? P( x N | x1 x2 L x N??1 ) logP( x N | x1 x2 L x N??1 )
X 1 X 2 X N??1 X N
??????L?? P( x1 x2 L x N??1 )? P( x N | x1 x2 L x N??1 ) logP( x N )
X 1 X 2 X N??1 X N
? H ( X N )
即
H ( X 2 | X 1 )?? H ( X 2 )
H ( X 3 | X 1 X 2 )?? H ( X 3 ) ……
代入上述不等式，有
H ( X 1 X 2 L X N )?? H ( X 1 )?? H ( X 2 )?? L?? H ( X N )
P( x N | x1 x2 L x N??1 )?? P( x N ) P( x N??1 | x1 x 2 L x N??2 )?? P( x N??1 )
……
等号成立的条件是：
P( x 2 | x1 )?? P( x2 )
符号，均按 P(0)?? 0.4 ， P(1)?? 0.6 的概率发出符号。
（1） 试问这个信源是否是平稳的？
（2） 试计算 )( 2XH 、 )|( 213 XXXH 及 )(lim XH N 。 N????（3） 试计算 H ( X 4 ) 并写出 X 4 信源中可能有的所有符号。 解：
即离散平稳信源输出的 N 长的随机序列之间彼此统计无依赖时，等式成立。
【2.17】设有一个信源，它产生 0、1 序列的消息。它在任意时间而且不论以前发生过什么
该信源任一时刻发出 0 和 1 的概率与时间无关，因此是平稳的，即该信源是离散平稳
H ( X 2 )?? 2H ( X )?? 1.942 比特/符号
H ( X 3 | X 1 X 2 )?? H ( X )?? 0.971 比特/符号
1H ( X 1 X 2 L X N )?? H ( X )?? 0.971比特/符号 lim H N ( X )?? lim N??? N????N H ( X 4 )?? 4H ( X )?? 3.884 比特/符号
X 4 信源中可能的符号是所有 4 位二进制数的排序，即从 0000~1111 共 16 种符号。
【2.18】设有一信源，它在开始时以 P(a)?? 0.6 ， P(b)?? 0.3 ， P(c)?? 0.1的概率发出 X 1 。如 1 1 果 X 1 为 a 时，则 X 2 为 a、b、c 的概率为 ；如果为 b 时，则 X 2 为 a、b、c 的概率为 ；
3 3 1 如果 X 1 为 c 时，则 X 2 为 a、b 的概率为 ，为 c 的概率为 0。而且后面发出 X i 的概率只与
2 X i?1 有关，又当 i?? 3 时， P( X i | X i??1 )?? P( X 2 | X 1 ) 。试用马尔克夫信源的图示法画出状态
转移图，并计算此信源的熵 H?? 。
信源。其信息熵为
H ( X )????? P( x) log P( x)?? 0.971 比特/符号
信源是平稳无记忆信源，输出的序列之间无依赖，所以
解：
信源为一阶马尔克夫信源，其状态转换图如下所示。
1 1 a : a : 3 3 1 b : 3
1 c : 3 1 b : 3 1 2
1 2 1 c : 3 根据上述状态转换图，设状态极限概率分别为 P(a) 、P(b) 和 P(c) ，根据切普曼—柯尔 莫哥洛夫方程有
? 1 1 1 ?Q(a)?? 3 Q(a)?? 3 Q(b)?? 2 Q(c) ??1 1 1 ?Q(b)?? Q(a)?? Q(b)?? Q(c) ? 3 3 2 ? 1 1 ?Q(c)?? Q(a)?? Q(b) ? 3 )?Q ( a )?? Q (b ) ?? Q(3 ?? 1
解得：
3 1 Q(a)?? Q(b)???， Q(c)???8 4
得此一阶马尔克夫的信息熵为：
H?????? Q( Ei )H ( X | Ei )?? 1.439 比特/符号
p
0 【2.19】一阶马尔克夫信源的状态图如右图所示， 信源 X 的符号集为{0,1,2} 并定义 p?? 1?? p 。
（1） 求 信 源 平 稳 后 的 概 率 分 布 P(0) 、 P(1) p 和
2 P(2) ； （2） 求此信源的熵 H?? ；
p
2 p 2 p 2 2 p 1 p p 2 2
（3） 近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的熵 H ( X )
并与 H?? 进行比较；
（4） 对一阶马尔克夫信源 p 取何值时， H?? 取最大值，又当 p?? 0 和 p?? 1时结果如何？ 解：
根据切普曼—柯尔莫哥洛夫方程，可得
? P??? P (0) ?? pP (0) ?? 2p (1) 2p P(2)
???P(1)???p P(1) (0) ?? pP ??? p ??P(2)
2 2 ??P (2) ??? p P (0) ??? p P(1)?? pP(2) ?P(0)?? P(1)2 ?? P (2)2 ?? 1 ?
解得： P(0)?? P(1)?? P(2)???
1 3
该一阶马尔克夫信源的信息熵为：
H?????? Q( Ei ) H ( X | Ei )???? p log p?? p log p?? p 比特/符号
当信源为无记忆信源，符号的概率分布等于平稳分布，此时信源的概率空间为：
? 0 1 2???? X??????1 1 1???? P????????? 3 3 3????此时信源的信息熵为 H ( X )?? log 3?? 1.585 比特/符号
由上述计算结果可知： H ( X )?? H (?) 。
求一阶马尔克夫信源熵 H?? 的最大值， H?????? p log p?? p log p?? p ，有
p) dH???? log 2(1??dp p
2 可得，当 p???时， H?? 达到最大值，此时最大值为 log 3?? 1.585 比特/符号。
3
当 p?? 0 时， H???? 0 比特/符号； p?? 1时， H???? 1比特/符号
【2.20】黑白气象传真图的消息只有黑色和白色两种，即信源 X?? {黑,白}，设黑色出现的
概率为 P(黑)?? 0.3 ，白色出现的概率为 P(白)?? 0.7 。
（2） 假设消息前后有关联，其依赖关系为 P(白 |白)?? 0.9 ，P(黑 |白)?? 0.1 ，P(白 | 黑)?? 0.2 ，
P(黑 | 黑)?? 0.8 ，求此一阶马尔克夫信源的熵 H 2 。
（3） 分别求上述两种信源的冗余度，并比较 H ( X ) 和 H 2 的大小，并说明其物理意义。
解：
如果出现黑白消息前后没有关联，信息熵为：
H ( X )????? pi log pi?? 0.881 比特/符号
当消息前后有关联时，首先画出其状态转移图，如下所示。（1） 假设图上黑白消息出现前后没有关联，求熵 H ( X ) ；
设黑白两个状态的极限概率为 Q(黑) 和 Q(白) ，根据切普曼—柯尔莫哥洛夫方程可得：
?Q(黑)?? 0.8Q(黑)?? 0.1Q(白) ??
?Q(白)?? 0.2Q(黑)?? 0.9Q(白) ?
??Q(黑)?? Q(白)?? 1
解得：
Q(黑)???此信源的信息熵为：
1 2 ， Q(白)???3 3
H?????? Q( Ei ) H ( X | Ei )?? 0.553比特/符号
源熵小于信源消息之间无依赖时的信源熵，这表明信源熵正是反映信源的平均不确定的大
小。而信源剩余度正是反映信源消息依赖关系的强弱，剩余度越大，信源消息之间的依赖 关系就越大。
两信源的冗余度分别为：
H ( X ) ? 0.119 ? 1?? 1???log 2
H???? 0.447
? 1?? 1???log 2 结果表明：当信源的消息之间有依赖时，信源输出消息的不确定性减弱。就本题而言， 当有依赖时前面已是白色消息，后面绝大多数可能是出现白色消息；前面是黑色消息，后 面基本可猜测是黑色消息。这时信源的平均不确定性减弱，所以信源消息之间有依赖时信