解：从信息论的角度看，
第二章课后习题
【2.1】设有 12 枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同， 但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪 一枚是假币，试问至少必须称多少次？
1“12 枚硬币中，某一枚为假币”该事件发生的概率为 P???；
12 1 “假币的重量比真的轻，或重”该事件发生的概率为 P???；
2
为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因
此有
1 而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为 P???，因此天
3 平每一次消除的不确定性为 I?? log 3 比特
因此，必须称的次数为
I 1 I 2
-35log 3 ???????? 2.9 次 -30log 24 I?? log12?? log 2?? log 24 比特
因此，至少需称 3 次。
【延伸】如何测量？分 3 堆，每堆 4 枚，经过 3 次测量能否测出哪一枚为假币。 【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”或“面朝上点数之 和为 8”或“两骰子面朝上点数是 3 和 4”时，试问这三种情况分别获得多少信息量？ 解：
??“两骰子总点数之和为 2”有一种可能，即两骰子的点数各为 1，由于二者是独立的， 1 1 1 ，该事件的信息量为：因此该种情况发生的概率为 P???6 6 36
I?? log 36?? 5.17 比特
“两骰子总点数之和为 8”共有如下可能：2 和 6、3 和 5、4 和 4、5 和 3、6 和 2，概
1 1 5 ，因此该事件的信息量为： 率为 P?????? 5???
6 6 36
36 I?? log
? 2.85 比特 5 ??? 2???
1 1 1 ， “两骰子面朝上点数是 3 和 4”的可能性有两种：3 和 4、4 和 3，概率为 P???6 6 18 因此该事件的信息量为：
I?? log18?? 4.17 比特
多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多
少信息量（假设已知星期一至星期日的顺序）？ 解：
如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为
1 P???，因此此时从答案中获得的信息量为
7
I?? log 7?? 2.807 比特
而女孩中身高 1.6 米以上的占总数一半。假如我们得知“身高 1.6 米以上的某女孩是大学
设 A 表示女孩是大学生， P( A)?? 0.25 ；
B 表示女孩身高 1.6 米以上， P( B | A)?? 0.75 ， P( B)?? 0.5
“身高 1.6 米以上的某女孩是大学生”的发生概率为生”的消息，问获得多少信息量？ 解：
而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为 1，此时获得 的信息量为 0 比特。
【2.4】居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6 米以上的， 【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有
P( AB) P( A | B)???P( B) 已知该事件所能获得的信息量为
?
P( A) P(B | A) P( B)
0. 25?? 0. 75 0.5
? 0.375
1
I?? log ? 1.415 比特
0.375 ? X????a1?? 0 a2?? 1 a3?? 2 a4?? 3??
【 2.5 】 设 离 散 无 记 忆 信 源???????? 3 / 8 1/ 4 1 / 4 1/ 8?? ， 其 发 出 的 消 息 为
?P( x)??????????????????????????????
（202120130213001203210110321010021032011223210），求 （1） 此消息的自信息是多少？
（2） 在此消息中平均每个符号携带的信息量是多少？
解：
信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息
即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：
8 ? 1.415 比特 I (a0?? 0)?? log 3
I (a1?? 1)?? log 4?? 2 比特
I?? 14??1.415?? 13?? 2?? 12?? 2?? 6?? 3?? 87.81 比特
45 个符号共携带 87.81 比特的信息量，平均每个符号携带的信息量为
87.81 I???? 1.95 比特/符号
45
注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的
信息量，后者是信息熵，可计算得
H ( X )????? P( x) log P( x)?? 1.91比特/符号I (a2?? 2)?? log 4?? 2 比特 I (a3?? 3)?? log 8?? 3 比特
在发出的消息中，共有 14 个“0”符号，13 个“1”符号，12 个“2”符号，6 个“3” 符号，则得到消息的自信息为：
【2.6】如有 6 行 8 列的棋型方格，若有二个质点 A 和 B，分别以等概率落入任一方格内，
且它们的坐标分别为（XA,YA）和（XB,YB），但 A 和 B 不能落入同一方格内。
（1）求质点 A 落入任一格的平均自信息量，即求信息熵，首先得出质点 A 落入任一
格的概率空间为：
? a1 ? ? P?????? 1 ??????
? 48 X???
a2 1 48
a3 L a48???1 1???48 L??????48???（1） 若仅有质点 A，求 A 落入任一个格的平均自信息量是多少？ （2） 若已知 A 已落入，求 B 落入的平均自信息量。
（3） 若 A、B 是可分辨的，求 A、B 同都落入的平均自信息量。 解：
平均自信息量为
H ( A)?? log 48?? 5.58 比特/符号
（2）已知质点 A 已落入，求 B 落入的平均自信息量，即求 H ( B | A) 。
1 。平均自信息量为 A 已落入，B 落入的格可能有 47 个，条件概率 P(b j | ai ) 均为 H ( B | A)??????? P(ai )P(b j | ai ) log P(b j | ai )?? log 47?? 5.5547 比特/符号 48 47
i??1 j??1
（3）质点 A 和 B 同时落入的平均自信息量为
H ( AB)?? H ( A)?? H (B | A)?? 11.13 比特/符号
【2.7】从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如果 你问一位男同志：“你是否是红绿色盲？”，他的回答可能是“是”，也可能是“否”，问这 两个回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志， 则答案中含有的平均自信息量是多少？ 解：
男同志红绿色盲的概率空间为：
? X???? a1 a 2???? P??????0.07 0.93?????????????????
问男同志回答“是”所获昨的信息量为： 1
I?? log ? 3.836 比特/符号
0.07 问男同志回答“否”所获得的信息量为：
1
I?? log ? 0.105 比特/符号
0.93 男同志平均每个回答中含有的信息量为
H ( X )????? P( x) log P( x)?? 0.366 比特/符号
同样，女同志红绿色盲的概率空间为
?Y??? b1 b2???
??? P????????????0.005 0.995??问女同志回答“是”所获昨的信息量为：
1
I?? log ? 7.64 比特/符号
0.005 问女同志回答“否”所获昨的信息量为：
1
? 7.23?? 10??3 比特/符号 I?? log 0.995 女同志平均每个回答中含有的信息量为
H (Y )????? P( x) log P( x)?? 0.045 比特/符号
? X???? a1 a2 a3 a 4 a5 a6???
【2.8】设信源????????0.2 0.19 0.18 0.17 0.16 0.17? ，求此信源的熵，并解释为什 ?P( x)??????????????????????????????????么 H ( X )?? log 6 ，不满足信源熵的极值性。
解：
H ( X )????? P( x) log P( x)?? 2.65?? log 6
原因是给定的信源空间不满足概率空间的完备集这一特性，因此不满足极值条件。