?p e( 2 ) = p p e?( 2 ) + p p e? ( 3 ) ???p e( 3 ) = p p e?( 3 ) + p p e? ?p e( 1 ) = p e( 2 ) = p e( 3 ) ?
?p e( 1 ) + p e( 2 ) + p e( 3 ) =1 ?p e( 1 ) =1/3 ?
?p e( 2 ) =1/3 ?
?p e( 3 ) =1/3
?p x( 1 ) = p e( 1 ) (p x1 /e1 ) + p e( 2 ) (p x1 /e2 ) = p p e?( 1 ) + p p e?( 2 ) = (p + p)/3 =1/3 ??
?p x( 2 ) = p e( 2 ) (p x2 /e2 ) + p e( 3 ) (p x2 /e3 ) =p p e?( 2 ) + p p e?( 3 ) = (p + p)/3 =1/3 ???p x( 3 ) = p e( 3 ) (p x3 /e3 ) + p e p x( 1 ) ( 3 /e1 ) = p p e? ?X
?
? 0
1
2 ?
( 3 ) + p p e? ( 1 ) = (p + p)/3 =1/3
( 1 )
?
?P X( )?? = ??1/3 1/3 1/3? ?
(2)
H
p e p e( ) (
/e )log p e( j /ei ) i j
?111
= ??3 p e( 1 /e1)log p e( 1 /e1) + 3 p e( 2 /e1)log p e( 2 /e1) + 3 p e( 3 /e1)log p
e( 3 /e1) ?
1
1
3
1 1
?
+ 3 p e(
? ? /e )log p e( 1 /e3) + 3 p e( 2 /e3)log p e( 2 /e3) + 3 p e( 3 /e3)log p e( 3 /e3)??
·6·
1 1 1 1 1 1
p log p log log p log p log ? =? ? ? + ? + ? ? + ? ? + ? ? + ? p ? log p3 3 p p 3 p p 3 3 p p 3 ??
?
= ?p?log p + p?log p bit symbol/
()
2.11黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}。设黑色出现的概率为 P(黑) = 0.3，白色出现的概率为P(白) = 0.7。
(1) 假设图上黑白消息出现前后没有关联，求熵H(X)；
(2) 假设消息前后有关联，其依赖关系为P(白/白) = 0.9，P(黑/白) = 0.1，P(白/黑) =
0.2，
P(黑/黑) = 0.8，求此一阶马尔可夫信源的熵H2(X);
(3) 分别求上述两种信源的剩余度，比较H(X)和H2(X)的大小，并说明其物理含义。解：(1)
H X( ) =?∑ p x( i )log p x( i ) =?(0.3log0.3+ 0.7log0.7) = 0.881 bit symbol/
i
(2)
?p e( 1 ) = p e p e( 1 ) ( 1 /e1 )+ p e( 2 ) (p e1 /e2 ) ?
?p e( 2 ) = p e( 2 ) (p e2 /e2 )+ p e p e( 1 ) ( 2 /e1 ) ?p e( 1 ) = 0.8 (p e1 )+ 0.1 (p e2 ) ?
?p e( 2 ) = 0.9 (p e2 )+ 0.2 (p e1 ) ?p e( 2 ) = 2 (p e1 ) ?
?p e( 1 )+ p e( 2 ) =1 ?p e( 1 ) =1/3 ?
?p e( 2 ) = 2/3
H∞ = ?∑∑ p e p e( i ) ( j /ei )log p e( j /ei )
i
j
= ???1×0.8log0.8+ 1×0.2log0.2+ 2 ×0.1log0.1+ 2
×0.9log0.9?? ?3 3 3
3 ?
0.553 = bit symbol/
(3)
η1 = H 0 ?H∞ = log2?0.881 =11.9% H 0 log2
7·
· 44.7%
H(X) > H2(X)
表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多，能够进行较大程度的压缩。
2.12 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求： (1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息；
(3) 两个点数的各种组合（无序）对的熵和平均信息量； (4) 两个点数之和（即2, 3, … ,
12构成的子集）的熵； (5) 两个点数中至少有一个是1的自信息量。解：
(1)
p x( i ) =× + ×
=
I x( i ) = ?log p x( i ) = ?log
(2)
= 4.170 bit
p x( i ) =
× =
I x( i ) = ?log p x( i ) = ?log
(3)
两个点数的排列如下： 11 12 13 14 21 22 23 24 31 41 51 61
32 42 52 62
33 43 53 63
34 44 54 64
= 5.170 bit
16 26 36 46 56 66
15 25 35 45 55 65
共有21 种组合：其中11，22，33，44，55，66 的概率是
其他15 个组合的概率是·8·
H X(
(4)
) = ?
∑
?1 1 1 1 ?
p x( i )log p x( i ) = ??6× 36log36+15×18log18??=
?
4.337 bit symbol/ i
参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下：
?P X()??X ??= ?????
1214
195 3656
176 3685
3612 1813919 10121
18111 12361 ??????
H X() = ?∑i p x( i )log p x( i )
= ???2× 1 log 1 + 2× 1 log 1 + 2× 1 log 1 + 2× 1log1 + 2× 5 log 5 + 1log 1?? ? 36 36 18 18 12 12 9 9 36 36 6 3.274 = bit symbol/
(5)
6?
p x( i ) =
× ×11=
I x( i ) = ?log p x( i ) = ?log
=1.710 bit
2.13 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵；
(2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）
的自信息量的表达式； (3) 计算(2)中序列的熵。
解： (1)
H X(
(2)
) = ?
∑
?1133?
p x( i )log p x( i ) = ??4log 4 + 4log 4??=
?
0.811 bit symbol/ i
·9·
p x( i ) = ?? 14???m ×???34???100?m =
?
3100?m
I x( i ) = ?log p x( i ) = ?log
(3)
34100100?m
4100= 41.5+1.585m bit
H X( 100) =100H X() =100×0.811= 81.1 bit symbol/
2.14 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下：
若把这些频度看作概率测度，求：
(1) 忙闲的无条件熵；
(2) 天气状态和气温状态已知时忙闲的条件熵； (3)
从天气状态和气温状态获得的关于忙闲的信息。
解： (1)
根据忙闲的频率，得到忙闲的概率分布如下：
?X ?P X( ?
? ??x1忙闲x2 )?? = ???10363 ??
10340 ???
H X( ) = ?
∑
?
2 p x( i )log p x( i ) = ??10363 log10363 +10340 log10340
?
???= 0.964 bit symbol/ i
(2)
设忙闲为随机变量X，天气状态为随机变量Y，气温状态为随机变量Z
H XYZ() = ?∑∑∑ p x y z( i jk )log p x y z( i
i
j
k
j k
)
= ???12 log 12 + 8 log 8 + 27 log 27 + 16 log 16 ·10·