第2章 信源熵
2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍?
答：2倍，3倍。
2.2
一副充分洗乱了的牌(含52张牌)，试问 (1) 任一特定排列所给出的信息量是多少？
(2) 若从中抽取13张牌，所给出的点数都不相同, 能得到多少信息量？解：(1)
(2) 任取13张，各点数不同的概率为
2.3
居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
答案：1.415比特/符号。提示：设事件A表示女大学生，事件C表示160CM以上的女孩，则问题就是求p(A|C)，
log252!
13!13C52，信息量：9.4793(比特/符号)
13?p(AC)p(A)p(C|A)443p(A|C)????
1p(C)p(C)82log2p(A/C)?log23/8?1.415
2a?4?3?X??a1?0a2?1a?32.4 设离散无忆信源??，其发出的消息为???PX3/81/41/4???1/8???(202120130213001203210110321010021032011223210)，求
(1) 此消息的自信息量是多少？
(2) 在此消息中平均每个符号携带的信息量是多少？
解：(1)信源符号的自信息量为I(ai)=-log2p(ai)，故0,1,2,3的自信息量分别为1.415、 2、 2、 3。 消息序列中0，1，2，3的数目分别为14，13，12，6，故此消息的自信息量为1.415*14+2*13+2*12+3*6=87.81比特， (2)87.81/45=1.951比特。 2.6 设信源?a2a3a4a5a6??X??a1??，求这信源的熵，并解释为什么??PX0.20.190.180.170.160.17??????H?X??log6不满足信源熵的极值性。
提示：信源的概率之和大于1。
2.7 同时掷两个正常的骰子，也就是各面呈现的概率都为1/6，求：
(1) “3和5同时出现”这事件的自信息量； (2) “两个1同时出现”这事件的自信息量；
(3) 两个点数的各种组合(无序对)的熵或平均信息量；
(4) 两个点数之和(即2,312构成的子集)的熵；
11??2=1/18 66(5) 两个点数中至少有一个是1的自信息量。
解：(1) 4.17(比特/符号)，提示：3和5同时出现的概率为
(2) 5.17(比特/符号)，提示：两个1同时出现的概率1/36 (3) “两个点数相同”的概率:1/36,共有6种情况;
“两个点数不同”的概率:1/18,共有15种情况.故平均信息量为:
?61151log2?log2?4.337比特/符号 36361818
(4) 3.274(比特/符号)。提示：信源模型
11??12
5511111111?18129366369121836??111111(5) 1.711(比特/符号)。提示：至少有一个1出现的概率为????
666636
2.8 证明H??2?1??36345678910?X1X2Xn??H?X1??H?X2???H?Xn?
提示： 由教材式(2.1.26)和(2.1.28)可证 证明：
H(XY)?H(X)?H(YX),??H(XY)?H(X)?H(Y)H?X1X2H(YX)?H(Y)Xn)Xn)
Xn??H(X1)?H(X2??H(X1)?H(X2)??H(X1)?H(X2)??H(X1)?H(X2)?H(X3?H(Xn?2)?H(Xn?1Xn)?H(Xn?2)?H(Xn?1)?H(Xn) 2.4
证明H?X3X1X2??H?X3X1?，并说明等式成立的条件。
提示：见教材第38页
2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得
联合出现的相对频度如下：
若把这些频度看作概率测度，求： (1) 忙闲的无条件熵；
(2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信息。 解：设X、Y、Z分别表示{忙 闲}、{晴 雨}和{冷 暖}，
(1)
?X??忙闲?先求忙闲的概率分布???6340????P(X)???103103?63634040H(X)??log2?log2=0.9637(比特/符号)
103103103103，无条件熵
(2)
?忙晴冷忙晴暖忙雨冷忙雨暖闲晴冷闲晴暖闲雨冷闲雨暖??XYZ???82716815512??P(XYZ)???12????103103103103103103103103??H(XYZ)=2.8357
?晴冷晴暖雨暖雨冷??YZ??，H(YZ)=1.9769 232832??P(YZ)???20????103103103103?H(XYZ)? H(XYZ)- H(YZ)=0.8598(比特/符号)
(3) I(X;YZ)=H(X)-H(X/YZ)=0.1039比特/符号
2.11 有两个二元随机变量
X和Y，它们的联合概率为
X Y 0 1 0 1 1/8 3/8 3/8 1/8 并定义另一随机变量Z(1) (2)
?XY(一般乘积)。试计算：
H(X),H(Y),H(Z),H(XZ),H(YZ)和H(XYZ)；
H(XY),H(YX),H(XZ),H(ZX),H(YZ),H(ZY),H(XYZ),
H?YXZ?和H?ZXY?；
(3)
I?X;Y?,I?X;Z?,I?Y;Z?,I?X;YZ?,I?Y;ZX?和I?X;ZY?。
解： (1) XY的概率分布为??XY??00011011? ?????P(XY)??1/83/83/81/8?11333311H(XY)??log2?log2?log2?log2?1.8113比特/符号
88888888X的概率分布?1??X??0， ?????P(X)??1/21/2?1111H(X)??log2?log2?1比特/符号
22221??Y??0X的概率分布????1/21/2?，
P(Y)????H(Y)=1比特/符号
?Z??0Z=XY的概率分布???7??P(Z)???8H(Z)?1?1?， 8??7711log2?log2?0.5436比特/符号 8888 XZ的联合概率分布??XZ??00011011?， ?????P(XZ)??1/203/81/8?
H(XZ)=1.4056比特/符号 YZ的联合概率分布??YZ??00011011?， ?????P(YZ)??1/203/81/8?H(YZ)=1.4056比特/符号
XYZ的联合概率分布
?XYZ??000001010011100101110111??P(XYZ)???1/803/803/80?，
01/8????H(XYZ)=1.8113比特/符号
(2) H(X/Y)=H(XY)-H(Y)=1,8113-1=0.8113比特/符号；
H(Y/X)=H(XY)-H(X)=1.8113-1=0.8113比特/符号 H(X/Z)=H(XZ)-H(Z)=1.4056-0.5436=0.862比特/符号； H(Z/X)=H(XZ)-H(X)=1.4056-1=0.4056比特/符号； H(Y/Z)=H(YZ)-H(Z)=1.4056-0.5436=0.862比特/符号； H(Z/Y)=H(YZ)-H(Y)=1.4056-1=0.4056比特/符号；
H(X/YZ)=H(XYZ)-H(YZ)=1.8113-1.4056=0.4057比特/符号；
H(Y/XZ)=H(XYZ)-H(XZ)= 1.8113-1.4056=0.4057比特/符号； H(Z/XY)= H(XYZ)-H(XY)=1,8113-1.8113=0比特/符号； (3) I(X;Y)=H(X)-H(X/Y)=1-0.8113=0.1887比特/符号；
or I(X;Y)=H(X)+H(Y)-H(XY)=1+1-1.8113=0.1887比特/符号； I(X;Z)= H(X)-H(X/Z)=1-0.862=0.138比特/符号；
or I(X;Z)=H(X)+H(Z)-H(XZ)=1+0.5436-1.4056=0.138比特/符号； I(Y;Z)= H(Y)-H(Y/Z)= 0.138比特/符号；
or I(Y;Z)=H(Y)+H(Z)-H(YZ)= 1+0.5436-1.4056=0.138比特/符号； I(X;Y/Z)=H(X/Z)-H(X/YZ)=0.4563比特/符号； I(Y;Z/X)=H(Y/X)-H(Y/XZ)=0.4056比特/符号； I(X;Z/Y)=H(Z/Y)-H(Z/XY)=0.4056比特/符号；
2.13 设有一个信源，它产生0,1序列的信息。它在任意时间而且不论以前发生过什么符号，均按
p?0??0.4,p?1??0.6的概率发出符号。
(1) 试问这个信源是否是平稳的？ (2) 试计算HX(3) 试计算H解：(1) 是平稳信源
(2) 信源熵H(X)=-0.4log20.4-0.6log20.6=0.971比特/信源符号，H(X(3)H(X42??,H?X23X1X2?及limH?X?；
N???X?并写出X44信源中可能有的所有符号。
)?2H(X)?1.942比
特/信源符号，由题设知道这个信源是无记忆信源，因此条件熵和极限熵都等于信源熵。
)?4?0.971?3.884比特/信源符号，
X4信源中可能的符号共16个。
2.14
设
X?X1,X2,,XN是平稳离散有记忆信源，试证明：
H?X1X2XN??H(X1)?H?X2X1??H?X3X2X1???H?XNX1X2XN?1?。
提示：见教材第44页
证明：因为H(XY)?H(X)?H(YX)，故
XN?1)XN?2)?H(XNX1X2XN?1)H?X1X2XN??H(X1X2?H(X1X2??H(X1X2)?XN?1)?H(XNX1X2XN?2)?H(XN?1X1X2?H(XN?1X1X2XN?2)?H(XNX1X2XN?1)XN?1)?H(X1)?H(X2X1)?
?H(XN?1X1X2XN?2)?H(XNX1X22.16 一阶马尔可夫信源的状态图如题2.16图所示。信源X的符号集为{0,1,2}。
(1) 求平稳后信源的概率分布； (2) 求信源的熵H?。
题2.16图
解：(1)由图得一阶马尔可夫信源的状态为s1=0，s2=1，s3=2。
?p?对应的一步转移概率矩阵为P??p?0?30ppp??0?， p??由各态历经定理，有
p(sj)??p(si)p(sjsi)，即
i?1p(s2)?p(s1)p?p(s2)p,p(s3)?p(s2)p?p(s3)p
解方程组得状态极限概率满足p(s1)?p(s2)?p(s3)，
又由p(s1)?p(s2)?p(s3)?1得p(0)?p(1)?p(2)?1/3
(2)
p(s1)?p(s1)p?p(s3)p,H??H1?1????p(si)p(sjsi)log2p(sjsi)??(plog2p?plog2p)bit/symbol
i?1j?133
2.17 黑白气象传真图的消息只有黑色和白色两种，即信源
p(黑)=0.3，白色的出现概率p(白)=0.7。
(1) 假设图上黑白消息出现前后没有关联，求熵H黑)=0.8，求此一阶马尔可夫信源的熵(3) 分别求上述两种信源的剩余度，比较H解：(1)
X?{黑，白}。设黑色出现的概率为
?X?；
(2) 假设消息前后有关联，其依赖关系为p(白/白)=0.9，p(黑/白)=0.1，p(白/黑)=0.2，p(黑/
H2(X)；
?X?和H2(X)的大小，并说明其物理意义。
H(X)??0.3log20.3?0.7log20.7?0.8813比特/信源符号;