y2=1 3/8 1/8 并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；
(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解： (1)
p(x1)?p(x1y1)?p(x1y2)?p(x2)?p(x2y1)?p(x2y2)?18?3818??121238?H(X)???p(xi)logp(xi)?1 bit/symbolip(y1)?p(x1y1)?p(x2y1)?p(y2)?p(x1y2)?p(x2y2)?18?3818??1212
38?H(Y)???p(yj)logp(yj)?1 bit/symboljZ = XY的概率分布如下：
?z?0?Z??1????7?P(Z)??8?2z2?1??1?8??
711??7H(Z)???p(zk)???log?log??0.544 bit/symbol888??8kp(x1)?p(x1z1)?p(x1z2)p(x1z2)?0p(x1z1)?p(x1)?0.5p(z1)?p(x1z1)?p(x2z1)p(x2z1)?p(z1)?p(x1z1)?p(z2)?p(x1z2)?p(x2z2)p(x2z2)?p(z2)?H(XZ)???i78?0.5?38
18?k13311??1p(xizk)logp(xizk)???log?log?log??1.406 bit/symbol28888??2· 6 ·
p(y1)?p(y1z1)?p(y1z2)p(y1z2)?0p(y1z1)?p(y1)?0.5p(z1)?p(y1z1)?p(y2z1)p(y2z1)?p(z1)?p(y1z1)?p(z2)?p(y1z2)?p(y2z2)p(y2z2)?p(z2)?H(YZ)???j78?0.5?38
18?k13311??1p(yjzk)logp(yjzk)???log?log?log??1.406 bit/symbol28888??2p(x1y1z2)?0p(x1y2z2)?0p(x2y1z2)?0p(x1y1z1)?p(x1y1z2)?p(x1y1)p(x1y1z1)?p(x1y1)?1/8p(x1y2z1)?p(x1y1z1)?p(x1z1)p(x1y2z1)?p(x1z1)?p(x1y1z1)?p(x2y1z1)?p(x2y1z2)?p(x2y1)p(x2y1z1)?p(x2y1)?p(x2y2z1)?0p(x2y2z1)?p(x2y2z2)?p(x2y2)p(x2y2z2)?p(x2y2)?H(XYZ)???i12?18?3838182??jkp(xiyjzk)logp(xiyjzk)1333311??1 ???log?log?log?log??1.811 bit/symbol8888888??8
(2)
H(XY)???i?jp(xiyj)log21333311??1p(xiyj)????log?log?log?log??1.811 bit/symbol8888888??8H(X/Y)?H(XY)?H(Y)?1.811?1?0.811 bit/symbolH(Y/X)?H(XY)?H(X)?1.811?1?0.811 bit/symbolH(X/Z)?H(XZ)?H(Z)?1.406?0.544?0.862 bit/symbolH(Z/X)?H(XZ)?H(X)?1.406?1?0.406 bit/symbolH(Y/Z)?H(YZ)?H(Z)?1.406?0.544?0.862 bit/symbolH(Z/Y)?H(YZ)?H(Y)?1.406?1?0.406 bit/symbolH(X/YZ)?H(XYZ)?H(YZ)?1.811?1.406?0.405 bit/symbolH(Y/XZ)?H(XYZ)?H(XZ)?1.811?1.406?0.405 bit/symbolH(Z/XY)?H(XYZ)?H(XY)?1.811?1.811?0 bit/symbol
(3)
· 7 ·
I(X;Y)?H(X)?H(X/Y)?1?0.811?0.189 bit/symbolI(X;Z)?H(X)?H(X/Z)?1?0.862?0.138 bit/symbolI(Y;Z)?H(Y)?H(Y/Z)?1?0.862?0.138 bit/symbolI(X;Y/Z)?H(X/Z)?H(X/YZ)?0.862?0.405?0.457 bit/symbolI(Y;Z/X)?H(Y/X)?H(Y/XZ)?0.862?0.405?0.457 bit/symbolI(X;Z/Y)?H(X/Y)?H(X/YZ)?0.811?0.405?0.406 bit/symbol
2.12有两个随机变量X和Y，其和为Z = X + Y（一般加法），若X和Y相互独立，求证：H(X) ≤ H(Z), H(Y) ≤ H(Z)。
证明： ?Z?X?Y?p(yj) (zk?xi)?Y?p(zk/xi)?p(zk?xi)???0 (zk?xi)?YH(Z/X)???i?k??p(xizk)logp(zk/xi)???p(xi)??p(zk/xi)logp(zk/xi)?i?k?
2? ???p(xi)??p(yj)logi?j?H(Z)?H(Z/X)?H(Z)?H(Y)?p(yj)??H(Y)?同理可得H(Z)?H(X)。
2.13 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，
均按P(0) = 0.4，P(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X2), H(X3/X1X2)及H∞；
(3) 试计算H(X4)并写出X4信源中可能有的所有符号。
解：
(1) 这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号……” ．．．．．．．．．．．．．．．
H(X)?2H(X)??2?(0.4log0.4?0.6log0.6)?1.942 bit/symbol2(2) H(X3/X1X2)?H(X3)???p(xi)logp(xi)??(0.4log0.4?0.6log0.6)?0.971 bit/symbol
iH??limH(XN???4N/X1X2...XN?1)?H(XN)?0.971 bit/symbolH(X)?4H(X)??4?(0.4log0.4?0.6log0.6)?3.884 bit/symbol(3) X的所有符号：00000100100011000001010110011101001001101010111000110111101111114
2.15 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵；
(2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式；
· 8 ·
(3) 计算(2)中序列的熵。
解： (1)
133??1H(X)???p(xi)logp(xi)???log?log?i?4444?0.811 bit/symbol
?(2)
m100?m?mp(x?1??3?i)???4?????4???31004100
(x3100?mI(xi)??logpi)??log4100?41.5?1.585m bit(3) H(X100)?100H(X)?100?0.811?81.1 bit/symbol
2.16 一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0, 1, 2}(1) 求平稳后信源的概率分布； (2) 求信源的熵H∞。
PP0P1PP2P 解： (1)
?p(e1)?p(e1)p(e1/e1)?p(e2)p(e?1/e2)?p(e2)?p(e2)p(e2/e2)?p(e3)p(e2/e3)??p(e3)?p(e3)p(e3/e3)?p(e1)p(e3/e1)??p(e1)?p?p(e1)?p?p(e2)??p(e2)?p?p(e2)?p?p(e3)???p(e3)?p?p(e3)?p?p(e1)
?p(e1)?p(e2)?p(e3)??p(e1)?p(e2)?p(e3)?1?p(e1)?1/3??p(e2)?1/3??p(e3)?1/3
。
· 9 ·
?p(x1)?p(e1)p(x1/e1)?p(e2)p(x1/e2)?p?p(e1)?p?p(e2)?(p?p)/3?1/3???p(x2)?p(e2)p(x2/e2)?p(e3)p(x2/e3)?p?p(e2)?p?p(e3)?(p?p)/3?1/3?p(x3)?p(e3)p(x3/e3)?p(e1)p(x3/e1)?p?p(e3)?p?p(e1)?(p?p)/3?1/3 ???X??P(X12???0????)??1/31/31/3?(2)
33H????i?jp(ei)p(ej/ei)logp(ej/ei)11?1 ???p(e1/e1)logp(e1/e1)?p(e2/e1)logp(e2/e1)?p(e3/e1)logp(e3/e1)33?3 ? ?1313p(e1/e2)logp(e1/e2)?p(e1/e3)logp(e1/e3)?1313p(e2/e2)logp(e2/e2)?p(e2/e3)logp(e2/e3)?131p(e3/e2)logp(e3/e2)
?p(e3/e3)logp(e3/e3)?3?11111?1? ????p?logp??plogp??p?logp??p?logp??p?logp??p?logp?33333?3? ??p?logp?p?logp bit/symbol??2.17黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}。设黑色出现的概率为
P(黑) = 0.3，白色出现的概率为P(白) = 0.7。
(1) 假设图上黑白消息出现前后没有关联，求熵H(X)； (2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) = 0.2，P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H2(X);
(3) 分别求上述两种信源的剩余度，比较H(X)和H2(X)的大小，并说明其物理含义。
解： (1)
H(X)???p(xi)logp(xi)??(0.3log0.3?0.7log0.7)?0.881 bit/symbol
i(2)
?p(e1)?p(e1)p(e1/e1)?p(e2)p(e1/e2)??p(e2)?p(e2)p(e2/e2)?p(e1)p(e2/e1)?p(e1)?0.8p(e1)?0.1p(e2)??p(e2)?0.9p(e2)?0.2p(e1)?p(e2)?2p(e1)??p(e1)?p(e2)?1?p(e1)?1/3??p(e2)?2/3H????ip(黑/黑)=0.8黑e1p(白/黑)=0.2p(白/白)=0.1白e2 p(白/白)=0.9?jp(ei)p(ej/ei)logp(ej/ei)122?1? ????0.8log0.8??0.2log0.2??0.1log0.1??0.9log0.9?333?3? ?0.553 bit/symbol· 10 ·