（2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵
解：令X表示指针指向某一数字，则X={1,2,……….,38}
Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色} Y是X的函数，由题意可知p(xiyj)?p(xi) （1）H(Y)??p(y)logp(y)?38log2?2?38log18?1.24bit/符号
jj?1j312381838（2）H(X,Y)?H(X)?log238?5.25bit/符号
（3）H(X|Y)?H(X,Y)?H(Y)?H(X)?H(Y)?5.25?1.24?4.01bit/符号 2.12 两个实验X和Y，X={x1 x2 x3},Y={y1 y2 y3},l联合概率r?xi,yj??rij为
?r11r12??r21r22?r?31r32r13??7/241/240????r23???1/241/41/24?
?r33?1/247/24???0?（1） 如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？
（2） 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？
（3） 在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？ 解：联合概率p(xi,yj)为
Y X x1 x2 x3 X概率分布 X P x1 8/24 x2 8/24 x3 8/24 y1 y2 1/24 1/4 1/24 y3 0 1/24 7/24 H(X,Y)??p(xi,yj)log2ij7/24 1/24 0 1p(xi,yj)?2?72411log2?4?log224?log24247244 =2.3bit/符号
1H(Y)?3?log23?1.58bit/符号
3H(X|Y)?H(X,Y)?H(Y)?2.3?1.58 Y概率分布是 =0.72bit/符号 Y P
y1 8/24 y2 8/24 y3 8/24
2.13 有两个二元随机变量X和Y，它们的联合概率为
Y X y1=0 y2=1 x1=0 1/8 3/8 x2=1 3/8 1/8 并定义另一随机变量Z = XY（一般乘积），试计算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；
(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)；
(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。
解： (1)
p(x1311)?p(x1y1)?p(x1y2)?8?8?2p(x)?3112)?p(x2y1)?p(x2y28?8?2H(X)???p(xi)logp(xi)?1 bit/symboli
p(y?p(xp(x1311)1y1)?2y1)?8?8?2p(y3112)?p(x1y2)?p(x2y2)?8?8?2H(Y)???p(yj)logp(yj)?1 bit/symboljZ = XY的概率分布如下：
??Z??z?0z2?1??P(Z)????1?71????88??
2H(Z)???p(z?7711?k)???log?log??0.544 bit/k?8888?symbol
p(x1)?p(x1z1)?p(x1z2)p(x1z2)?0p(x1z1)?p(x1)?0.5p(z1)?p(x1z1)?p(x2z1)p(x2z1)?p(z1)?p(x1z1)?p(z2)?p(x1z2)?p(x2z2)p(x2z2)?p(z2)?1873?0.5?8813311??1H(XZ)????p(xizk)logp(xizk)???log?log?log??1.406 bit/symbol28888??2ik
p(y1)?p(y1z1)?p(y1z2)p(y1z2)?0p(y1z1)?p(y1)?0.5p(z1)?p(y1z1)?p(y2z1)p(y2z1)?p(z1)?p(y1z1)?p(z2)?p(y1z2)?p(y2z2)p(y2z2)?p(z2)?1873?0.5?8813311??1H(YZ)????p(yjzk)logp(yjzk)???log?log?log??1.406 bit/symbol28888??2jk
p(x1y1z2)?0p(x1y2z2)?0p(x2y1z2)?0p(x1y1z1)?p(x1y1z2)?p(x1y1)p(x1y1z1)?p(x1y1)?1/8p(x1y2z1)?p(x1y1z1)?p(x1z1)p(x1y2z1)?p(x1z1)?p(x1y1z1)?p(x2y1z1)?p(x2y1z2)?p(x2y1)p(x2y1z1)?p(x2y1)?p(x2y2z1)?0p(x2y2z1)?p(x2y2z2)?p(x2y2)18H(XYZ)?????p(xiyjzk)log2p(xiyjzk)p(x2y2z2)?p(x2y2)?ijk113??288381333311??1 ???log?log?log?log??1.811 bit/symbol8888888??8(2)
1333311??1H(XY)????p(xiyj)log2p(xiyj)????log?log?log?log??1.811 bit/symbol88888888??ijH(X/Y)?H(XY)?H(Y)?1.811?1?0.811 bit/symbolH(Y/X)?H(XY)?H(X)?1.811?1?0.811 bit/symbolH(X/Z)?H(XZ)?H(Z)?1.406?0.544?0.862 bit/symbolH(Z/X)?H(XZ)?H(X)?1.406?1?0.406 bit/symbolH(Y/Z)?H(YZ)?H(Z)?1.406?0.544?0.862 bit/symbolH(Z/Y)?H(YZ)?H(Y)?1.406?1?0.406 bit/symbolH(X/YZ)?H(XYZ)?H(YZ)?1.811?1.406?0.405 bit/symbolH(Y/XZ)?H(XYZ)?H(XZ)?1.811?1.406?0.405 bit/symbolH(Z/XY)?H(XYZ)?H(XY)?1.811?1.811?0 bit/symbol (3)
I(X;Y)?H(X)?H(X/Y)?1?0.811?0.189 bit/symbolI(X;Z)?H(X)?H(X/Z)?1?0.862?0.138 bit/symbolI(Y;Z)?H(Y)?H(Y/Z)?1?0.862?0.138 bit/symbol
I(X;Y/Z)?H(X/Z)?H(X/YZ)?0.862?0.405?0.457 bit/symbolI(Y;Z/X)?H(Y/X)?H(Y/XZ)?0.862?0.405?0.457 bit/symbolI(X;Z/Y)?H(X/Y)?H(X/YZ)?0.811?0.405?0.406 bit/symbol
2-14 (1)
P(ij)= P(i/j)=
(2) 方法1:
=
方法2:
2-15 P(j/i)=
2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。
（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图 （2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。
（3）比较两种信源熵的大小，并说明原因。 解：（1）H(X)?0.3log2P(黑|白)=P(黑)
1010?0.7log2?0.8813bit/符号 37