P(i)= P(ij)=
H(IJ)=
2.29 有一个一阶平稳马尔可夫链X1,X2,?,Xr,?,各Xr取值于集合A??a1,a2,a3?,已知起始概率P(Xr)为p1?1/2,p2?p3?1/4，转移概率如下图所示
j i 1 2 3 1 1/2 2/3 2/3 2 1/4 0 1/3 3 1/4 1/3 0 (1) 求(X1,X2,X3)的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵
(3) 求H0,H1,H2和它们说对应的冗余度 解：（1）
H(X1,X2,X3)?H(X1)?H(X2|X1)?H(X3|X2,X1)
?H(X1)?H(X2|X1)?H(X3|X2)111111H(X1)??log?log?log?1.5bit/符号
224444
X1，X2的联合概率分布为
p(x1ix2j) 1 2 3 那么
1 1/4 1/6 1/6 2 1/8 0 1/12 3 1/8 p(x2j)??p(x1ix2j)
iX2的概率分布为
1/12 0 1 14/24 2 5/24 3 5/24 H(X2|X1)?=1.209bit/符号
111131131log4?log4?log4?log?log3?log?log3 48862126212
X2X3的联合概率分布为
p(x2ix3j) 1 2 3 那么
1 7/24 5/36 5/36 2 7/48 0 5/12 3 7/48 5/12 0 H(X3|X2)?=1.26bit/符号
771535535log2?log4?log4?log?log3?log?log3 244883627236272H(X1,X2,X3)?1.5?1.209?1.26?3.969bit/符号
所以平均符号熵H3(X1,X2,X3)?3.969?1.323bit／符号 3?1?2?2（2）设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为P???3?2???3140131?4??1? 3??0???224?1?W1?W2?W3?1W1??2?337???13?WP?W?1?由? 得到 ?W1?W3?W2计算得到?W2?
Wi?14314?????3?1?W1?W2?W3?W3???14??又满足不可约性和非周期性
3???4111321H?(X)??WiH(X|Wi)?H(,,)?2?H(,,0)?1.25bit/符号
72441433i?1bi/t符号 H2?(3)H0?log3?1.58bit/符号 H1?1.51.5?1.209?1.35b5i/t符号 21.251.251.25?0?1??0?1??0.21?1?1??1?1??0.617 ?2?1??2?1??0.078
1.581.51.355
1/2a12/31/41/42/3a1/32a31/3
2-30
(1) 求平稳概率 P(j/i)=
解方程组
得到
(2)
信源熵为:
2-31
P(j/i)= 解方程组
得到W1= , W2= , W3=
2.32 一阶马尔可夫信源的状态图如图2－13所示，信源X的符号集为（0，1，2）。 （1）求信源平稳后的概率分布P(0),P(1),P(2) （2）求此信源的熵
（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与H?进行比较
1-pp/21-p0p/2p/2p/21p/2p/221-p图2-13
?1?pp/2p/2???解:根据香农线图,列出转移概率距阵P?p/21?pp/2 ????p/2p/21?p??令状态0,1,2平稳后的概率分布分别为W1,W2,W3
p?(1?p)W1?W2??2?WP?W??p?3 得到 ?W1?(1?p)W2???2??Wi?1?i?1?W1?W2?W3?1??由齐次遍历可得
1p?W?W3?W1?32?p1?W3?W2 计算得到?W? 23?1?W??3???????1pp12H?(X)??WiH(X|Wi)?3?H(1?p,,)?(1?p)log?plog
3221?ppi???H(X)?log3?1.58bit/符号 由最大熵定理可知H?(X)存在极大值
,
或者也可以通过下面的方法得出存在极大值:
?????H?(X)1?pp21?p ????log(1?p)?(?1)?log?p?????log?p1?p2p2?2(1?p)?p11pp 又0?p?1所以?????0,???当p=2/3时?1
2(1?p)22(1?p)2(1?p)2(1?p)????H?(X)p0 ?p2(1?p)????H?(X)p2/3 ?p2(1?p)??????所以当p=2/3时H?(X)存在极大值,且H?(X)max?1.58bit/符号 ???所以H?(X)?H(X,) 2-33 (1) 解方程组: 得p(0)=p(1)=p(2)= (2) (3) 当p=0或p=1时 信源熵为0