信息论与编码课后习题答案详解
2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？
解：
四进制脉冲可以表示4 个不同的消息，例如：{0, 1, 2, 3}
八进制脉冲可以表示8 个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2 个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则：
四进制脉冲的平均信息量H X( 1) = logn = log4 = 2 bit symbol/ 八进制脉冲的平均信息量
H X( 2) = logn = log8 = 3 bit symbol/
二进制脉冲的平均信息量H X( 0) = logn = log2 =1 bit symbol/ 所以：
四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2 倍和3 倍。
2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？
解：
设随机变量X 代表女孩子学历 X P(X)
x1（是大学生） x2（不是大学生）
0.25 0.75
设随机变量Y 代表女孩子身高
Y
y1（身高>160cm）
0.5
y2（身高<160cm）
0.5
P(Y)
已知：在女大学生中有75%是身高160 厘米以上的即：
p y( 1 / x1) = 0.75 bit
求：身高160 厘米以上的某女孩是大学生的信息量
p x p y( ) ( / x) log 0.25
x( 1 / y1 ) = ?log p x( 1 / y1 ) = ?log = ?
p y( 1 ) 0.5
11 1
×0.75
=1.415 bit即：I
2.3 一副充分洗乱了的牌（含52张牌），试问
(1) 任一特定排列所给出的信息量是多少？
·1·
(2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？
解：
(1) 52 张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是：p
x( i ) =
I x( i ) =?log p x( i ) = log52!= 225.581 bit
(2) 52 张牌共有4 种花色、13 种点数，抽取13 张点数不同的牌的概率如下：
413
p x( i ) =
C5213
413
I x( i ) = ?log p x( i ) = ?log
C5213 =13.208 bit
=0
2.4 设离散无记忆信源???P X(X )??? = ???x3/8
?
x2 =1 x3 = 2 x4 = 3?，其发出的信息为
1
1/4 1/4 1/8 ?
(202120130213001203210110321010021032011223210)，求 (1) 此消息的自信息量是多少？
(2) 此消息中平均每符号携带的信息量是多少？解：
(1) 此消息总共有14 个0、13 个1、12 个2、6 个3，因此此消息发出的概率是：
p = ??3??14 ×?? 1 ??25 ×??1??6 ?8?
? 4?
?8?
此消息的信息量是：I =?log p =87.811 bit
(2) 此消息中平均每符号携带的信息量是：I n/ = 87.811/ 45 =1.951 bit
2.5 从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解：男士： p x( Y ) = 7%
I x( Y ) = ?log p x( Y ) = ?log0.07 = 3.837 bit
·2·
p x( N ) = 93%
I x( N ) = ?log p x( N ) = ?log0.93 = 0.105 bit H X(
0.93log0.93)0.366 bit symbol/
i
) p x( )log p x( ) (0.07log0.07
女士：
H X(
i
) p x( )log p x( )
?X ? ? x 2.6 设
信源=
1
x2 x3
x4 x5
x6 ?
，求这个信源的熵，并解释为什么
(0.005log0.0050.995log0.995)0.045 bit symbol/
?P X( )?? ??0.2 0.19 0.18
?
0.17 0.16 0.17??
H(X) > log6不满足信源熵的极值性。
解：
H X
i
p x p x
=?(0.2log0.2 + 0.19log0.19 + 0.18log0.18+ 0.17log0.17 + 0.16log0.16 + 0.17log0.17)= 2.657 bit symbol/
H X( ) >log 62 = 2.585
不满足极值性的原因是
i
。
2.7 证明：H(X3/X1X2) ≤ H(X3/X1)，并说明当X1, X2, X3是马氏链时等式成立。证明：
H X( 3 / X X1 2 ) ?H X( 3 / X1)
= ?∑∑∑ p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 ) + ∑∑ p x x( i1 i3 )log p x( i3 / xi1)
i1 i2
i3
i1
i3
= ?∑∑∑ p x x x( i1 i2i3 )log p x( i3 / x xi1 i2 ) + ∑∑∑ p x x x( i1 i2i3 )log p x( i3 / xi1)
i1
i2 i3
i1
i2
i3
p x( i3 / xi1)
= ∑∑∑i1
i2 i3
p x x x( i1 i2
i3
)log p x( i3 / x xi1 i2 )
·3·
? p x( i3 / xi1) 1???log2 e
≤ ∑∑∑i1
i2 i3
p x x x( i1 i2
i3
)???p x( i3 / x xi1 i2 ) ? ?
= ??
∑∑∑ p x x(
?i1 ?
i2
i3
i1 i2
) (p xi3 / xi1) ?∑∑∑ p x x x( i1 i2i3 )??log2 e
i1 i2
i3
?
? ? ?
= ??∑∑ p x x( i1 i2 )?∑ p x( i3 / xi1)? ?1??log2 e
?i1 = 0
i2
?i3 ? ?
∴H X( 3 / X X1 2) ≤ H X( 3 / X1)
p x( i3 / xi1) 1 0时等式等等当? = p x( i3 / x xi1 2i )
? p x( i3 / xi1) = p x( i3 / x xi1 2i )
? p x x( i1 2i ) (p xi3 / xi1) = p x( i3 / x xi1 2i ) (p x xi1 2i ) ? p x( i1) (p xi2 / xi1) (p xi3 / xi1) = p x x x( i1 2 3i ? p x( i2 / xi1) (p xi3 / xi1) = p x x( i2 3i / xi1) ∴等式等等的等等是X1, X2, X3是马氏链_
i
)
2.8证明：H(X1X2 。。。Xn) ≤ H(X1) + H(X2) + … + H(Xn)。证明：
H X X( 1
/ X X1 I X(
2
...X n ) = H X( 1)+ H X(2 / X1)+ H X( 3 2 )+...+ H X( n / X X1 2...X n?1 )
2
;X1 ) ≥ 0 ? H X(
2
2
) ≥ H X(
2
/ X1 ) I X( 3;X X1 3 / X X1
2
) ≥ 0 ? H X( 3 ) ≥ H X(
)
...
I X( N;X X1 2...Xn?1) ≥ 0 ? H X( N ) ≥ H X( N / X X1 2...Xn?1)
∴H X X( 1 2...Xn) ≤ H X( 1)+H X( 2)+H X( 3)+ +... H X( n)
2.9 设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0) = 0.4，P(1) = 0.6的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X2), H(X3/X1X2)及H∞；
(3) 试计算H(X4)并写出X4信源中可能有的所有符号。
解： ·4·
(1)
这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间．．．．而且不论以前发生过什么符号．．．．．．．．．．．……” (2)
H X(2 ) = 2H X() = ?2×(0.4log0.4+ 0.6log0.6) =1.942 bit symbol/ H X(
3
/ X X1
2
) = H X(
3
) = ?∑ p x( i )log p x( i ) = ?(0.4log0.4+
0.6log0.6) = 0.971 bit symbol/ i
H∞ = lim H X(
N
/ X X1
2
...X N?1 ) = H X(
N
) = 0.971 bit symbol/
N?>∞
(3)
H X(4 ) = 4H X() = ?4×(0.4log0.4+ 0.6log0.6) = 3.884 bit symbol/ X 4的所有符号：
0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101
1110 1111
2.10 一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0, 1, 2}。求平稳后信源的概率分布； (2) 求信源的熵H∞。
解：
(1)
?p e( 1 ) = p e p e( 1 ) ( 1 /e1 ) + p e( 2 ) (p e1 /e2 ) ?
?p e( 2 ) = p e( 2 ) (p e2 /e2 ) + p e( 3 ) (p e2 /e3 ) ?
?p e( 3 ) = p e( 3 ) (p e3 /e3 ) + p e p e( 1 ) ( 3 /e1 ) ?p e( 1 ) = p p e?( 1 ) + p p e? ( 2 ) ??
·5·
(1)