2.12 计算习题2.9中的I (Y；Z)，I (X；Z)，I (XY；Z)，I (Y；Z|X)和I (X；Z|Y)。
解:
I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X3)= 3.5993-2.585 =1.0143比特 I(X;Z)=H(Z)-H(Z/X)=3.5993- 3.2744=0.3249比特 I(XY ;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =1.0143比特
I(Y;Z/X)=H(Z/X)-H(Z/XY)= H(X2+X3)-H(X3) =3.2744-2.585 =0.6894比特 I(X;Z/Y)=H(Z/Y)-H(Z/XY)=H(Z/Y)-H(Z/Y) =0
2.10 设有一个系统传送10个数字：0, 1, ?, 9。奇数在传送时以0.5的概率错成另外
的奇数，而其它数字总能正确接收。试求收到一个数字平均得到的信息量。
解:设系统输出10个数字X等概,接收数字为Y,
191显然 w(j)??Q(i)p(ji)?， H(Y)=log10 p(ji)??10i?110i?0H(Y/X)????p(x,y)log2p(yx)???p(x,y)log2p(yx)yx?偶yx?奇9?0??p(x)p(xx)log2p(xx)?i?奇y?x,奇x?奇??p(x)p(yx)log2p(yx)
1111??log22?5?4???log28102108?1比特?5?所以 I(X;Y)= log210?1?2.3219比特
2.11 令{ul, u2, ?, u8}为一等概消息集，各消息相应被编成下述二元码字:
ul=0000，u2=0011，u3=0101，u4=0110 u5=1001，u6=1010，u7=1100，u8=1111 通过转移概率为p的BSC传送。试求
(a) 接收的第一个数字0与ul之间的互信息量。 (b) 接收的前二个数字00与ul之间的互信息量。 (c) 接收的前三个数字000与ul之间酌互信息量。 (d) 接收的前四个数字0000与ul之间的互信息量。
解:（a）接收前一个数字为0的概率
w(0)??q(ui)p(0ui)?i?0812
I(u1;0)?log2p(0u1)1?p?log21?1?log2(1?p)w(0)2bits
6
（b）同理 w(00)??q(u)p(00u)?iii?0814
p(00u1)(1?p)2I(u1;00)?log2?log2?2?2log2(1?p)1w(00)4（c）同理 w(000)?bits
?q(u)p(000u)?iii?0818
p(000u1)(1?p)3I(u1;000)?log2?log2?3?3log2(1?p)1w(000)8bits
（d）同理 w(0000)??q(u)p(0000u)?iii?0818((1?p)6?6p2(1?p)2?p4)
p(0000u1)(1?p)4I(u1;0000)?log2?log21w(0000)((1?p)6?6p2(1?p)2?p4)8?log28
2.13 令X、Y、Z是概率空间，试证明下述关系式成立。
(a) H(YZ|X)≤H(Y|X)＋H(Z|X)，给出等号成立的条件。 (b) H(YZ|X)=H(Y|X)＋H(Z|XY)。
(c) H(Z|XY)≤H(Z|X)，给出等号成立的条件。
(1?p)(1?p)6?6p2(1?p)2?p44
bits 解: (b)
H(YZ/X)????p(xyz)logxyz1p(yz/x)1p(y/x)p(z/xy)11????p(xyz)logp(y/x)p(z/xy)xyz
????p(xyz)logxyz????p(xyz)logxyz?H(Y/X)?H(Z/XY)(c)
H(Z/XY)???p(xy)?p(z/xy)logxyz1p(z/xy)1（由第二基本不等式） p(z/x)???p(xy)?p(z/xy)logxyz?H(Z/X)或
7
H(Z/XY)?H(Z/X)???p(xy)?p(z/xy)logxyz1p(z/xy)???p(xy)?p(z/xy)logxyz1p(z/x)（由第一基本
???p(xy)?p(z/xy)logxyzp(z/x)p(z/xy)p(z/x)?1)p(z/xy)???p(xy)?p(z/xy)loge?(xyz?0不等式）
所以 H(Z/XY)?H(Z/X)，
等号成立的条件为p(z/xy)?p(z/x),对所有x?X,y?Y,z?Z,即在给定X条件
下Y与Z相互独立。
(a)
H(Y/X)?H(Z/X)?H(Y/X)?H(Z/XY)?H(YZ/X)
等号成立的条件为p(z/xy)?p(z/x),对所有x?X,y?Y,z?Z,即在给定X条件
下Y与Z相互独立。
2.14 对于任意概率事件集X、Y、Z，证明下述三角不等式成立。
H(X|Y)＋H(Y|Z)≥H(X|Z)
H(X|Y)/H(XY)＋H(Y|Z)/H(YZ)≥H(X|Z)/H(XZ)
解: (a) H(X/Y)?H(Y/Z)?H(X/YZ)?H(Y/Z)?H(XY/Z)?H(X/Z)
(b)
8
H(X/Y)H(Y/Z)H(X/Y)H(Y/Z)???H(XY)H(YZ)H(Y)?H(X/Y)H(Y)?H(Z/Y)H(X/Y)H(Y/Z)??H(Y)?H(X/Y)?H(Z/Y)H(Y)?H(Z/Y)?H(X/Y)H(X/Y)?H(Y/Z)?H(Y)?H(X/Y)?H(Z/Y)H(X/Y)?H(Y/Z)?H(YZ)?H(X/Y)H(X/Y)?H(Y/Z)?H(X/Y)?H(Y/Z)?H(Z)?H(X/Y)?H(Y/Z)?H(X/Z)?0,H(Z)?0H(X/Y)H(Y/Z)??H(XY)H(YZ)H(X/Y)?H(Y/Z)H(X/Y)?H(Y/Z)?H(Z)H(X/Z)? H(X/Z)?H(Z)H(X/Z)?H(XZ)?注：?a1?a2?0,b?0?a1b?a2b?a1b?a1a2?a2b?a1a2?
a1a2? a1?ba2?b2.15 令d(X，Y)=H(X|Y)＋H(Y|X)为X和Y的信息距离，令ρ(X，Y)=[H(X|Y)＋H(Y|X)]/H(XY)
为X和Y的信息距离系数。试证明有关距离的三个公理： d(X，X)=0 d(X，Y)≥0
d(X，Y)=d(Y，X)
d(X，Y)＋d(Y，Z)≥d(X，Z)
解: (a)
d(X,X)?H(X/X)?H(X/X)?0d(X,Y)?H(X/Y)?H(Y/X)?0
(b) d(X,Y)?H(X/Y)?H(Y/X)?H(Y/X)?H(X/Y)?d(Y,X) (c)
d(X,Y)?d(Y,Z)?H(X/Y)?H(Y/X)?H(Y/Z)?H(Z/Y)H(X/Y)?H(Y/Z)?H(X/YZ)?H(Y/Z)?H(XY/Z)?H(X/Z) 同理H(Z/Y)?H(Y/X)?H(Z/X)?d(X,Y)?d(Y,Z)?H(X/Z)?H(Z/X)?d(X,Z)
9
2.16 定义S(X，Y)=1－ρ(X，Y)=I(X；Y)/H(XY)为X和Y之间的信息相似度，证明：
0≤S(X，Y)≤1 S(X，X)=1
S(X，Y)=0，X和Y独立时。
解:(a)
I(X,Y)?H(X)?H(Y)?H(XY)?H(X)?H(Y)?H(XY)?H(X/Y)?H(Y/X)?H(XY)?S(X,Y)?
又由互信息的非负性，即I(X;Y)?0，有S(X;Y)?0，所以 0?S(X;Y)?1
I(X,Y)?1H(XY)I(X,X)H(X)?H(X/X)H(X)???1
H(XX)H(XX)H(X)(c) 当且仅当X和Y独立时，I（X；Y）=0，所以，当且仅当X和Y独立时，
I(X,Y)S(X,Y)??0。
H(XY)(b) S(X,X)?
2.17 令X→Y→Z为马尔可夫链，证明：
I(X；Z|Y)=0 I(XY；Z)=I(Y；Z) I(Y；Z|X)=I(Y|Z)－I(X；Z) I(Y；Z|X)≤I(Y；Z)
解: X→Y→Z为马尔可夫链，有p(z/xy)=p(z/y),对所有x,y,z。
10