?1??Ey(loge2(S?N2?(S?N)1y2)?)12lo?gS2?N(?1)e?logEYy22S(?N)(
)1S?N1?log2?(S?N)?loge??log2?e(S?N)22(S?N)2?Hc(X,Y)???P(x,y)logP(X,Y)dxdy
???12N12N{?[x(1?)?2xy?y2]}{?[x(1?)?2xy?y2]}11SS ???e2Nloge2Ndxdy
2?SN??2?SN ??Exy(log12?SNe{?12N[x(1?)?2xy?y2]}2NS)
1NExy([x2(1?)?2xy?y2) 2NS2N ?log2?SN?loge? ?log2?eSN
2N11Hc(YX)?Hc(X,Y)?Hc(X) ?log2?eSN?log2?eS?log2?eN
22111SI(X;Y)?Hc(Y)?Hc(YX) ?log2?e(S?N)?log2?eN?log(1?)
222N ?log2?SN?loge?
2-25 某一无记忆信源的符号集为{0，1}，已知 （1）求符号的平均熵。
（2）由100 个构成的序列，求某一特定序列（例如有m个0和100-m个1）的自由信息量的表达式。
（3）计算（2）中的序列的熵。
1133log?log?0.5?0.31?0.81bit 44441m3100?m?200?(100?m)log3?1.59m?41 （2）I(X)??log()()44 解：（1）H(X)?? （3）H(X100)?100H(X)?81bit
I(X)?2?(1?m/100)log3 100H(X)?2-26 一个信源发出二重符号序列消息（X1，X2），其中第一个符号X1可以是A，B，C中的任一个，第二个符号X2可以是D，E，F，G中的任一个。已知各个p(x1i)为
p(A)?111,p(B)?,p(C)?；各个p(x2jx1i)值列成如下。求这个信源的熵（联合熵）236H(X1,X2).
解：H(X1,X2)?H(X1)?H(X2X1) H(X1)??[
111log?22311log?361log?]?0.560.?528?0.b4i3 t11.459H(X2X1)
111111133111111??[4??log?2??log?2??log?3??log??log]
24435531010666622?1?0.3094?0.3472?0.2153?0.0833?1.955bit
H(X1,X2)?1.459?1.955?3.414bit/序列
2.29 有一个一阶平稳马尔可夫链X1,X2,?,Xr,?,各Xr取值于集合A??a1,a2,a3?,已知起始概率P(Xr)为p1?1/2,p2?p3?1/4，转移概率如下图所示
j i 1 2 3 1 1/2 2/3 2/3 2 1/4 0 1/3 3 1/4 1/3 0 (1) 求(X1,X2,X3)的联合熵和平均符号熵 (2) 求这个链的极限平均符号熵
(3) 求H0,H1,H2和它们说对应的冗余度 解：（1）
H(X1,X2,X3)?H(X1)?H(X2|X1)?H(X3|X2,X1)
?H(X1)?H(X2|X1)?H(X3|X2)111111H(X1)??log?log?log?1.5bit/符号
224444X1，X2的联合概率分布为
p(x1ix2j) 1 2 3 1 1/4 1/6 1/6 2 1/8 0 1/12 3 1/8 p(x2j)??p(x1ix2j)
iX2的概率分布为
1/12 0 1 14/24 2 5/24 3 5/24 那么
H(X2|X1)?111131131log4?log4?log4?log?log3?log?log3 48862126212=1.209bit/符号
X2X3的联合概率分布为 p(x2ix3j) 1 2 3 那么
1 7/24 5/36 5/36 2 7/48 0 5/12 3 7/48 5/12 0 H(X3|X2)?=1.26bit/符号
771535535log2?log4?log4?log?log3?log?log3 244883627236272H(X1,X2,X3)?1.5?1.209?1.26?3.969bit/符号
所以平均符号熵H3(X1,X2,X3)?3.969?1.323bit／符号 3?1?2?2（2）设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为P???3?2???3140131?4??1? ?3?0???224?1?W1?W2?W3?1W1??2?337???13?WP?W?1?由? 得到 ?W1?W3?W2计算得到?W2?
314???Wi?1?4?3?1?W1?W2?W3?W3???14??又满足不可约性和非周期性
3???4111321H?(X)??WiH(X|Wi)?H(,,)?2?H(,,0)?1.25bit/符号
72441433i?1bi/t符号 H2?(3)H0?log3?1.58bit/符号 H1?1.51.5?1.209?1.35b5i/t符号 21.251.251.25?0?1??0?1??0.21?1?1??1?1??0.617 ?2?1??2?1??0.078
1.581.51.3551-pp/21-p1/20p/2p/21a12/31/41/42/31/31/3p/2p/2p/22a2a3图2-131-p
2.32 一阶马尔可夫信源的状态图如图2－13所示，信源X的符号集为（0，1，2）。 （1）求信源平稳后的概率分布P(0),P(1),P(2) （2）求此信源的熵
（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与H?进行比较
?1?pp/2p/2???解:根据香农线图,列出转移概率距阵P?p/21?pp/2 ????p/2p/21?p??令状态0,1,2平稳后的概率分布分别为W1,W2,W3
p?(1?p)W1?W2??2?WP?W??p?3 得到 ?W1?(1?p)W2???2??Wi?1?i?1?W1?W2?W3?1??由齐次遍历可得
1p?W?W3?W1?32?p1?W3?W2 计算得到?W? 23?1?W??3???????1pp12H?(X)??WiH(X|Wi)?3?H(1?p,,)?(1?p)log?plog
3221?ppi???H(X,)?log3?1.58bit/符号 由最大熵定理可知H?(X)存在极大值
或者也可以通过下面的方法得出存在极大值:
?????H?(X)1?pp21?p ????log(1?p)?(?1)?log?p?????log?p1?p2p2?2(1?p)?p11pp?????0,???当p=2/3时?1 又0?p?1所以
2(1?p)22(1?p)2(1?p)2(1?p)???????H?(X)p?H?(X)p0 ?p2(1?p)?p2(1?p)?????????所以当p=2/3时H?(X)存在极大值,且H?(X)max?1.58bit/符号.所以H?(X)?H(X,)