?0.375,0.25,0.25,0.97859,0.027141?；如果p1??2?9?22.20 ??9??2??95361721725?36??1? 72??1?72??1，则没有解。 42a32.21 ?logb??log
3e第3章 离散信源
3.1 p(x2)
3.2 5 3.3 1 3.4 2
3.5 （1）87.81bit （2）1.95bit 3.6 Hmax(X)=1
3.7 （1）消息符合的平均熵
1133H?X???log?log?0.81?bit?
4444（2）自信息量为
4I?X??mlog4??100?m?log?200??100?m?log3
3（3）（2）中的熵为
1m??H?X??I?X??2??1??log3
100100??3.8 因为边沿分布
p?ai???p?aiaj?
j?13条件分布概率p?aj|ai??p?aiaj?p?ai?如下：
p?aj|ai? 0 0 9/11 2/11 0 ai 1 1/8 3/4 1/8 2 0 2/9 7/9 aj 所以信息熵：
1 2
3H?X????p?ai?logp?ai??1.542?bit?
i?1条件熵：
H?X2X1?????p?aiaj?logp?aj|ai??0.87?bit符号?
i?1j?133联合熵：
H?X1,X2?????p?aiaj?logp?aiaj??2.41?bit二个符号?
i?1j?133或
H?X1,X2??H?X1??H?X2|X1??1.542?0.87?2.412?bit二个符号?
可知
H?X2|X1??H?X?
解释：
（1）信源的条件熵H?X2|X1?比信源熵H?X?少0.672bit符号。这是由符号之间的相互依存性造成的。
（2）联合熵H?X1,X2?表示平均每两个信源符号所携带的信息量。平均每一个信源符号所携带的信息量近似为
1H2?X??H?X1,X2??1.205?bit符号?
2因此
H2?X??H?X?
原因：略去了?X1X2?和?X2X3?之间的依赖性。 3.9 由定义，信源的熵
H?X????p?ai?logp?ai??0.2log0.2?0.19log0.19?0.18log0.18?i?160.17log0.17?0.16log0.16?0.17log0.17?log6.28?2.64?log6
信源的概率分布要求满足?p?ai??1，而此题中?p?ai??1.07?1。即各种可能发生的情况下，概率之和大于“1”。在实际情况下这是不可能发生的。 3.10 由题意可知，联合概率分布为 X Y1 0 1 2
0 1/4 0 1/4 1 0 1/4 1/4
X Y2 0 1 2 Y的分布为
Y1 P(y1)
Y2 P(y2) 所以
H?Y1??H?Y2??1?bit?H?Y1|X????p?xy1?logp?y1|x??0.5?bit?XY10 1/4 1/4 0 1 0 0 1/2 1 1/2 1 1/2 0 1/2 0 1/2 H?Y2|X????p?xy2?logp?y2|x??0?bit?
XY2I?X;Y1??H?Y1??H?Y1|X??0.5?bit?I?X;Y2??H?Y2??H?Y2|X??1.0?bit?由于
I?X;Y1??I?X;Y2?
所以，第二个实验好。 3.11 由定义
H?X2??H?X2,X1??H?X1?+H?X2|X1??H?X2|X1?由于一阶马尔科夫信源之间的相关性，导致熵减小。 3.12 （1）一阶马尔可夫过程的状态转移图如图所示。
1/3s11/31/31/31/31/3s31/3s21/3
1/3
1一阶马尔可夫过程共有3种状态，每个状态转移到其他状态的概率均为，设状态的平稳分
3布为W??W1,W2,W3?，根据
??W1??W?2???W3???111?W1?W2?W3333111?W1?W2?W3333 111?W1?W2?W3333W1?W2?W3?1可得W??1/3,1/3,1/3?，3种状态等概率分布。 一阶马尔可夫信源熵为
1?111?H2?3??H?,,??1.585比特符号
3?333?信源剩余度为
??1?H2H?1?2?0 H0log3（2）二阶马尔可夫信源有9种状态（状态转移图略），同样列方程组求得状态的平稳分布为 ?111111111?W??,,,,,,,,?
?999999999?二阶马尔可夫信源熵为
1H3?9?log3?1.585比特符号
9信源剩余度为
H3H?1?3?0 H0log3??1?由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。 3.13 （1）由题中条件，该信源是离散无记忆信源，对任意i1,i2,x1,x2,xN??0,1?XiN?xN,iN和h?0，
pXi1?x1,Xi2?x2,?0.4N1?0.6N?N1???
?pXi1?h?x1,Xi2?h?x2,?XiN?h?xN其中N1为x1,x2,xN中0的个数。
故该信源是平稳的。
（2）由离散无记忆信源的扩展信源的性质
N??limHN?X??limHN?XN|X1X2N??XN?1??H?X??0.971?bit?
（3）
H?X4??4H?X??4???0.4log0.4?0.6log0.6??3.884?bit?
可能发出的符号有0000，0001，0010，0011，0100，0101，0110，0111，1000，1001，1010，
1011，1100，1101，1110，1111。 3.14 状态转移矩阵
?21?P??33?
???10????7?92P???2??32?9?? 1?3??故该马尔科夫信源是遍历的。
设
W??W1W2?
由
WP?W
即
?2W?W2?W1??31??1W?W12??3W1?W2?1
求得
3?W???14 ?1?W?2??4所以信源熵为
H?X???p?Si?H?X|Si??i?123?21?131H?,??H?1,0???0.918??0?0.688?bit符号? 4?33?444状态转移图略。
3.15 （1）状态转移矩阵
??p?pP???2??p??2p2pp2p?2??p? ?2?p???p2pp2p?2??p?0???p??? p1?????2???p?2???p???则有
??p?p?0???p?0???????pT?p1?Pp1??????????2???p?2????p?2????p???2可得