2-12、两个实验X和Y，X?{x1,x2,x3}，Y?{y1,y2,y3}，联合概率r(xi,yj)?rij为
?r11?r?21??r31r12r22r32r13??7/241/240??1/241/41/24? r23?????r33?1/247/24????0?（1）如果有人告诉你X和Y的结果，你得到的平均信息量是多少？
（2）如果有人告诉你Y的结果，你得到的平均信息量是多少？
（3）在已知Y的实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？ 解：（1）、H(X,Y)????p(x,yii?1j?133j)logp(xi,yj)
771111log?4?log?log?2.3bit/符号 24242424441()py()2py?()3?（2）、?py 1?3??2?11111H(Y)???p(yi)logp(yi)?H(,,)??3?log?1.58bit/符号
33333i?1（3）、HX(Y|)HXY?(,)HY()?32.581./7t20b.i?3??符号
H(XY)???p(xi,yj)logp(xiyj)
ij???p(xi,yj)logijp(xi,yj)p(yj)114) 37171124log?4?log24?log ??(2?112424433?0.112?0.5?0.104?0.716bit2-13有两个二元随机变量X和Y，它们的联合概率如右图所示。 并定义另一随机变量Z=XY（一
般乘积）。
试计算：
（1） H(X)，H(Y)，H(Z)，H(X,Z)，H(Y,Z)，H(X,Y,Z)
（2） H(XY)，H(YX)，H(XZ)，H(ZX)，H(YZ)，H(ZY)，
H(XY,Z)，H(YX,Z)，H(ZX,Y)
（3） I(X;Y)，I(X;Z)，I(Y;Z)，I(X;YZ)，I(Y;ZX)，I(X;ZY)
解：（1）1）p(x1)=p(x1y1)+p(x1y2)=131?? 882311 p(x2)=p(x2y1)+p(x2y2)=??
882 H(X)??(?pxii)lopgxi(?bit)1symbol/
p(y1)=p(x1y1)+p(x2y1)=131?? 882311p(y2)=p(x1y2)+p(x2y2)=??
882H(Y)???p(yj)logp(yj)?1bit/symbol
j
?z?0z2?1??Z??1??71?? ?P(Z)????8??8?7711H(Z)???p(Zk)??(log?log)?0.544bit/symbol
8888k2p(x1)?p(x1z1)?p(x1z2) p(xp(1x?)1z1)? 5 p(x1z2)?0 0.?p(z1)?p(x1z1)?p(x2z1) p(x2z1)?p(z)1?p(xz1)173?0.5? 88p(z2)?p(x1z2)?p(x2z2) p(x2z2)?p(z2)?
1 8H(XZ)????p(xizk)logp(xizk)ik131113311?H(,0,,)??(log?log?log)?1.406bit/symbol288228888同理：
113311H(YZ)????p(yjzk)logp(yjzk)??(log?log?log)?1.406bit/symbol
228888jkPxyx(000)=1/8, Pxyz(010)=3/8, pxyz(100)=3/8, P(111)=1/8
Pxyz(110)=Pxyz(001)=Pxyz(101)=Pxyz(011)=0
1331H(XYZ)?????p(xiyjzk)log2p(xiyjzk)?H(,,,)8888ijk11333311??(log?log?log?log)?1.811bit/symbol88888888
（2）H(X,Y)??2?(log18133?log)?1.81bit 888由于H(X,Y)?H(X)?H(YX)?H(Y)?H(XY)所以：
H(XY)?H(X,Y)?H(Y)；H(YX)?H(X,Y)?H(X)则， H(XY)?1.81?1?0.81bit H(YX)?1.81?1?0.81bit
H(XZ)?H(X,Z)?H(Z)?1.41?0.54?0.87bit H(ZX)?H(X,Z)?H(X)?1.41?1?0.41bit H(YZ)?H(Y,Z)?H(Z)?1.41?0.54?0.87bit H(ZY)?H(Y,Z)?H(Y) ?1.41?1?0.41bit
H(XY,Z)?H(X,Y,Z)?H(Y,Z)?1.81?1.41?0.4bit H(YX,Z)?H(X,Y,Z)?H(X,Z)?1.81?1.41?0.4bit H(ZX,Y)?H(X,Y,Z)?H(X,Y)?1.81?1.81?0bit
Pxz=Px*Pz|x=Pz*Px|z
（3）I(X;Y)?H(X)?H(XY)?1?0.81?0.19bit I(X;Z)?H(X?)H(XZ?)?10.?87 b0.1i3tI(Y;Z)?H(Y)?H(YZ)?1?0.87?0.13bit
由于I(X;Y,Z)?I(X;Z)?I(X;YZ)则
I(X;YZ)?I(X;Y,Z)?I(X;Z)?H(X)?H(XY,Z)???H(X)?H(XZ)??
?H(XZ)?H(XY,Z)?0.87?0.4?0.47bit
同理有： I(Y;ZX)?H(YX)?H(YX,Z)?0.81?0.4?0.41bit
I(X;ZY)?H(XY?)H(XY,?Z)0.?81?0.4 0.b4i1t2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。
（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图 （2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。
（3）比较两种信源熵的大小，并说明原因。 解：（1）H(X)?0.3log2P(黑|白)=P(黑)
0.70.3黑0.3白0.71010?0.7log2?0.8813bit/符号 37P(白|白)＝P(白)
P(黑|黑)＝P(黑) P(白|黑)＝P(白)
（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时 间变化）
H?(X)?H(X2|X1)??p(xi,yj)log2ij1p(xi,yj)?0.9143?0.7log2?0.8?0.3log210.8111?0.0857?0.7log2?0.2?0.3log2
0.91430.08570.2＝0.512bit/符号
2.20 给定语音信号样值X的概率密度为p(x)?小于同样方差的正态变量的连续熵。
解：
1??x?e,???x???,求Hc(X)，并证明它21??xHc(X)???px(x)logpx(x)dx???px(x)log?edx2????111??x???px(x)log?dx??px(x)(??x)logedx??log?loge??e(?x)dx222??????11??log??loge??e?x??(?x)dx?log22????0?????????????01??x?e(?x)dx211112e??x?????log??2loge??2xe??xdx??log??loge?(1??x)e??log??loge?log??02222?0E(X)?0,D(X)?2?2
1214?e2?e2e?eH(X,)?log2?e2?log2?log?log?H(X)
2?2???
2-23 连续随机变量X和Y的联合概率密度为
p(x,y)?12?SNexp{?12N[x(1?)?2xy?y2]}2NS
求Hc(X),Hc(Y),Hc(YX),I(X;Y)
12N{?[x(1?)?2xy?y2]}1S解：PX(x)??p(x,y)dy??e2Ndy
2?SN??????? ????12?S2?Ne{?1N[(x?y)2?x2]}2NS11?x2?[(x?y)2]112S2Ndy?eedy ?2?S2?N???1?x212S ? e2?S12N{?[x(1?)?2xy?y2]}1SPe2Ndx Y(y)??p(x,y)dx??????2?SN?{?[(x?y)S?N2NSS?Ne2?(S?N)2?SN12??S?NS2?????SN(S?N)2y2]}dxdx
?y12(S?N) ?e2?(S?N)?y12(S?N)?e2?(S?N)1???2?S?N?e2?SNS?NS[(x?y)2]2SNS?N1?x212S随机变量X的概率密度分布为PX(x)?，呈标准正态分布。其中数学期望为0，e2?S?y12(S?N)e，也呈标准正态
2?(S?N)12?方差为S；随机变量Y的概率密度分布为PY(y)
分布。其中数学期望为0，方差为（S+N）。
??Hc(X)???PX(x)logPX(x)dx???????11?x2?x211e2Sloge2Sdx 2?S2?S1?x2111??Ex(loge2S)?log2?S?loge?Ex(x2)22S2?S
1S1?log2?S?loge??log2?eS22S2???y?y112(S?N)2(S?N)elogedy
2?(S?N)2?(S?N)1212Hc(Y)???PY(y)logPY(Y)dy???????