3 2/3 1/3 0 (1) 求(X1,X2,X3)的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵 (3) 求H0,H1,H2和它们说对应的冗余度 解：（1）
H(X1,X2,X3)?H(X1)?H(X2|X1)?H(X3|X2,X1)
?H(X1)?H(X2|X1)?H(X3|X2)111111H(X1)??log?log?log?1.5bit/符号
224444X1，X2的联合概率分布为
p(x1ix2j) 1 1/4 1/6 1/6 2 1/8 0 1/12 3 1/8 1/12 0 p(x2j)??p(x1ix2j)
i1 2 3 那么
H(X2|X1)?X2的概率
1 14/24 2 5/24 3 5/24 分布为
111131131log4?log4?log4?log?log3?log?log3 48862126212=1.209bit/符号 X2X3的联合概率分布为
p(x2ix3j) 1 7/24 5/36 5/36 2 7/48 0 5/12 3 7/48 5/12 0 1 2 3 那么
H(X3|X2)?771535535log2?log4?log4?log?log3?log?log3 244883627236272=1.26bit/符号
H(X1,X2,X3)?1.5?1.209?1.26?3.969bit/符号
所以平均符号熵H3(X1,X2,X3)?3.9693?1.323bit／符号 ??1?2（2）设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为P??2??3??2?3??12W1?23W2?2W3?31??W1?47由???WP?W?? 得到 ???Wi?1?1W1?1?W3?W2计算得到?W2?3 ?43?14??W?W??1?W231?3???W3?14又满足不可约性和非周期性
H???3?(X)??WiH(X|Wi)?4111i?17H(3212,4,4)?2?14H(3,3,0)?1.25bit/符号
(3)H0?log3?1.58bit/符号 H1?1.5bi/t符号 H2?1.5?1.22?019.35b5i/符号t ?0?1??0?1?1.251.58?0.21?1?1??1?1?1.251.5?0.617 ?2?1??2?1?1.251.355?0.078
1/2a12/31/41/42/3a1/32a31/3
2-30 (1) 求平稳概率 P(j/i)= 解方程组 到
11?44?01??3? 1?30??? 得
(2)
信源熵为: 2-31
P(j/i)= 解方程组 得到W1= , W2= , W3=
2.32 一阶马尔可夫信源的状态图如图2－13所示，信源X的符号集为（0，1，2）。 （1）求信源平稳后的概率分布P(0),P(1),P(2) （2）求此信源的熵
（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与H?进行比较
1-pp/21-p0p/2p/2p/21p/2p/221-p图2-13
?1?pp/2p/2?? p/21?pp/2解:根据香农线图,列出转移概率距阵P??????p/2p/21?p??令状态0,1,2平稳后的概率分布分别为W1,W2,W3
?(1?p)W1?pW2?p?2W3?W1??W?1?WP?W??2?3 得到 ?pp?3??W1?(1?p)W2???Wi?12W3?W2 计算得到??W?1i?1?2??3 ?W1?W2?W3?1????W?13由齐次遍历可得
H?X??)??W????(iH(X|Wi)?3?1H(1?p,p,p)?(1?12i322p)log1?p?plogp
H(X,)?log3?1.58bit/符号 由最大熵定理可知H????(X)存在极大值
或者也可以通过下面的方法得出存在极大值:
?H????(X)?p??????log(1?p)?1?pp21?p1?p(?1)?log2?p?p?2????log2(1?p) p2(1?p)??12?12(1?p) 又0?p?1所以p2(1?p)??0,???当p=2/3时p2(1?p)?1 0 2/3 所以当p=2/3时H?X??)存在极大值,且H????(?(X)max?1.58bit/符号 所以H????(X)?H(X,) 2-33 (1) 解方程组:p(0)=p(1)=p(2)= (2) (3) 当p=0或p=1时 信源熵为0 得 练习题：有一离散无记忆信源，其输出为X??0,1,2?，相应的概率为p0?1/4,p1?1/4,p2?1/2，设计两个独立的实验去观察它，其结果分别为Y1??0,1?,Y2??0,1?，已知条件概率: P(y1|x) 0 1 2 0 1 0 1/2 1 1 1 1/2 P(y2|x) 0 1 2 0 1 1 0 1 0 0 1 验好些 验比做Y1 (1) 求I(X;Y1)和I(X;Y2)，并判断哪一个实(2) 求I(X;Y1Y2)，并计算做Y1和Y2两个实 和Y2中的一个实验可多得多少关于X的信息 (3) 求I(X;Y1|Y2)和I(X;Y2|Y1)，并解释它们的含义 解:(1)由题意可知 Y1 X 0 1 2 P(y1=0)=p(y1=1)=1/2 p(y2=1)=p(y2=1)=1/2 11111?I(X;Y1)?H(Y1)?H(Y1|X)?log2?log?log?2?log2424240 1 1/4 0 1/4 0 1/4 1/4 Y2 X 0 1 2 0 1 1/4 1/4 0 0 0 1/2 =0.5bit/符号 111I(X;Y2)?H(Y2)?H(Y2|X)?log2?log1?log1?log1?1bit/符号>I(X;Y1) 442所以第二个实验比第一个实验好