不确定性与信息
2.3一副充分洗乱的牌（含52张），试问： （1）任一特定排列所给出的不确定性是多少？
（2）随机抽取13张牌，13张牌的点数互不相同时的不确定性是多少？ 解：（1）一副充分洗乱的扑克牌，共有52张，这52张牌可以按不同的一定顺序排列，可能有的不同排列状态数就是全排列种数，为 P52?52??8.066?10
因为扑克牌充分洗乱，所以任一特定排列出现的概率是相等的。 设事件A为任一特定排列，则其发生概率为 P?A??671?1.24?10?68 52?可得，任一特定排列所给出的信息量为
I?A???log2P?A??log252??225.58bit/符号 ?67.91dit/符号
（2）设事件B为从中抽取13张牌，所给出的点数都不同。
扑克牌52张中抽取13张，不考虑其排列顺序，共有C52种可能的组合。而扑克牌中每一种点数有4种不同的花色。而每一种花色都有13张不同的点数。13张牌中所有的点数都不相同（不考虑其顺序）就是每种点数的花色不同，所以可能出现的状态数为4。因为牌都是充分洗乱的，所以在这C52种组合中所有的点数都不相同的事件都是等概率发生的。所以
1313
13413413?13?39??1.0568?10?4 P?B??13?C5252?则事件B发生所得到的信息量为
413 I?B???logP?B???log213?13.208 bit/符号
C52 ?3.976 dit/符号 2.4 同时扔出两个正常的骰子，也就是各面呈现的概率都是16，求：
（1）“2和6 同时出现”这事件的自信息量。 （2）“两个3同时出现”这事件的自信息量。
（3）两个点数的各种组合（无序对）的熵或平均自信息量。 （4）两个点数之和（即2，3，?，12构成的子集）的熵。 （5）两个点数中至少有一个是1的自信息。
解：同时扔两个正常的骰子，可能呈现的状态数有36种，因为两骰子是独立的，又各面呈现的概率为16，所以36种中任一状态出现的概率相等，为136。
（1） 设“2和6同时出现”这事件为A。在这36种状态中，2和6同时出现有两种情况，
即2，6和6，2。
所以 P?A??21? 3618得 I?A???logP?A??log218?4.17 bit/符号
（2） 设“两个3同时出现”这个事件为B。在这36种状态中，两个3同时出现只有一种
状态，所以 P?B??1 36 得 I?B???logP?B??log236?5.17 bit/符号
（3） 设两个点数的各种组合构成信源X。这信源X的符号集A（样本集）就是这36种
状态，所以A??x1,x2,,x36?，并且其为等概率分布。得
?x,x,,x36??X??12 ? 1????11??P?x???,,,?36??3636所以 H?X??log236?5.17 比特/符号
设两个点数之和构成信源Z，它是由两个骰子的点数之和组合，即Z?X?Y（一般加法）。
而
?1,2,3,4,5,6??X??? ????111111?
,,,,,?P?x???666666??1,2,3,4,5,6??Y???????111111?
,,,,,?P?y???666666??2,3,4,5,6,7,8,9,10,11,12??Z???所以得 ????12345654321?
,,,,,,,,,,?P?z???3636363636363636363636?满足
?P?z??1
i?1n这是因为z?2是由x?1加y?1一种状态得到；z?3是由x?1加y?2和y?1加x?2两种状态得到；z?4是由x?1加y?3，y?2加x?2及x?3加y?1三种状态得到，其他类似，由于X与Y统计独立，可得 Pz?z???P?x?P?y???P?y?P?x?
YX z?x?y
由此可求出所有的概率分布。（可参见第三章习题解答3.6题。）
所以得 H?z????P?z?logP?z?
z ?log236??68106?4?log2?log23?log24?log25?log26?
36363636?36?10?2612??log23?log25?
36?3636? ?log236?? ?5.17?1.896?3.27 比特/符号
（4） 在这36种状态中两个点数中至少有一个数是1的状态共有11种，每种状态是独立
出现的，每种状态出现的概率是136。现设两个点数中至少有一个数是1的事件为C事件，则得
P?C??11 36所以得 I?C???logP?C????log2??11???1.71 比特/符号 36? 2.5
设在一只布袋中装有100只手感完全相同的木球，每只上涂有1种颜色。100只球的颜色有下列三种情况：
（1） 红色球和白色球各50只； （2） 红色球99只，白色球1只； （3） 红，黄，蓝，白色各25只。
求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。 解：依题意，令R表示事件“取到的是红球”，W表示事件“取到的是白球”，Y表示事件“取到的是黄球”，B表示事件“取到的是蓝球”。 （1） 若布袋中有红色球和白色球各50只，即 P?R??P?W??501? 10021则 I?R??I?W???log2?log22?1 bit/符号
2991?0.99 P?W???0.01 100100（2） 若布袋中红色球99只，白色球1只，即 P?R??则 I?R???log2P?R???log20.99?0.0145 bit/符号 I?W???log2P?W???log20.01?6.644 bit/符号 （3） 若布袋中有红，黄，蓝，白色各25只，即 P?R??P?Y??P?B??P?W??251? 1004
I?R??I?Y??I?B??I?W???log22.7 设信源为
1?2 bit/符号 4x2x3x4x5x6??X??x1?P???0.20.190.180.170.160.17?
??X??求熵，井解释为什么H(X)?log26，不满足信源熵的极值性。
解： H?X???
?P?x?logP?x?
i2ii6???0.2log20.2?0.19log20.19?0.18log20.18?0.17log20.17?0.16log20.16?0.17log20.17?
?2.657 bit/symbol H?X??log26?2.585
不满足极值性的原因是
?P?x??1.07?1，信源不满足完备性条件。
ii62.8大量统计表明，男性红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男同志是否为红绿色盲，他回答“是”或“否”。
（1）这二个回答中各含多少信息量? （2）平均每个回答中含有多少信息量?
（3）如果你问一位女同志，则答案中含有的平均信息量是多少? 答案：王虹老师
解：对于男性，是红绿色盲的概率记作P?a1??7%，不是红绿色盲的概率记作
P?a2??93%，这两种情况各含的信息量为
100?3.83 bit/符号 7100 I?a2??log2?1Pa?log?0.105 bit/符号 ???2?2?93 I?a1??log2??1P?a1????log2平均每个回答中含有的信息量为
H?A??P?a1?log2??1P?a1????P?a2?log2??1P?a2???
793?3.83??0.105 100100 ?0.366 bit/符号
对于女性，是红绿色盲的概率记作P?b1??0.5%，不是红绿色盲的记作
?P?b2??99.5%，则平均每个回答中含有的信息量为
H?B??P?b1?log2??1P?b1????P?b2?log2??1P?b2???
510009951000 ?log2??log2100051000995 ?0.045 bit/符号 H?A??H?B?
?
2.11设随机变量X?{x1,x2}?{0,1}和Y?{y1,y2}?{0,1}的联合概率空间为
?XY??(x1,y1)(x1,y2)(x2,y1)(x2,y2)??P???18?
383818??XY??定义一个新随机变量Z?X?Y（普通乘积）。
（1）计算熵H(X)、H(Y)、H(Z)、H(XZ)、H(YZ)以及H(XYZ)；
（2）计算条件熵H(X|Y)、H(Y|X)、H(X|Z)、H(Z|X)、H(Y|Z)、H(Z|Y)、H(X|YZ)、H(Y|XZ)以及H(Z|XY)；
（3）计算互信息量I(X;Y)、I(X;Z)、I(Y;Z)、I(X;Y|Z)、I(Y;Z|X)以及I(X;Z|Y)；
131 解 （1）p?x?0??p?x?0,y?0??p?x?0,y?1????
882311 p?x?1??p?x?1,y?0??p?x?1,y?1????
882 H?X????P?xi?logP?xi??1bit/符号
i131?? 882311 p?y?1??p?x?0,y?1??p?x?1,y?1????
882 H?Y????pyjlogpyj?1 bit/symbol
p?y?0??p?x?0,y?0??p?x?1,y?0??j????
Z?XY的概率分布如下
?z?0z?1??Z?? 1? ?P(Z)???7???8??8711??7H(Z)???p(zk)???log?log)??0.544bit/symbol
888??8K由p(xz)?p(x)p(zx)得
2p(x?0,z?0)?p(x?0)p(z?0x?0)?1 2p(x?0,z?1)?p(x?0)p(z?1x?0)?03p(x?1,z?0)?p(x?1)p(z?0x?1)?p(x?1)p(y?0x?1)?p(x?1,y?0)?
81p(x?1,z?1)?p(x?1)p(z?1x?1)?p(x?1)p(y?1x?1)?p(x?1,y?1)?813311??1H(XZ)????p(xizk)???log?log?log??1.406bt/symb
28888??2ik由对称性可得H(YZ)??1.406bt/symbol