【 2.9 】 设 离 散 无 记 忆 信 源 S 其 符 号 集 A?? {a1 , a2 ,..., aq } ， 知 其 相 应 的 概 率 分别 为
(P1 , P2 ,..., Pq ) 。 设 另 一 离 散 无 记 忆 信 源 S?? ， 其 符 号 集 为 S 信 源 符 号 集 的 两倍 ，
A??? {ai , i?? 1,2,...,2q}，并且各符号的概率分布满足
Pi??? (1???? ) Pi i?? 1,2,..., q
i?? q?? 1, q?? 2,...,2q Pi?????Pi 试写出信源 S?? 的信息熵与信源 S 的信息熵的关系。
解：
H (S??)????? P( x) log P( x)
???? (1???? ) Pi log(1???? )Pi??????Pi log??Pi
???(1???? )? Pi log(1???? )?? (1???? )? Pi log Pi?????? Pi log???????? Pi log Pi
???(1???? ) log(1???? )???? log???? H (S ) ? H (S )?? H (? ,1???? )
【2.10】设有一概率空间，其概率分布为 { p1 , p 2 ,..., p q } ，并有 p1?? p2 。若取 p1??? p1???? ，
p?2?? p2???? ，其中 0?? 2??? p1?? p2 ，而其他概率值不变。试证明由此所得新的概率空间的
H ( X )?? H ( X??)?? ( p1???? ) log( p1???? )?? ( p2???? ) log( p 2???? )?? p1 log p1?? p2 log p 2
令 f ( x)?? ( p1?? x) log( p1?? x)?? ( p2?? x) log( p2?? x) ， x????? 0, 1 ? ，则 ? p?? p2???
p 2?? x f??( x)?? log ? 0
p1?? x ? 2????
设新的信源为 X?? ，新信源的熵为：
H ( X??)????? pi log pi????( p1???? ) log( p1???? )?? ( p2???? ) log( p2???? )?? L?? pq log p q 原信源的熵
H ( X )????? pi log pi???? p1 log p1?? p2 log p 2?? L?? pq log p q
因此有，
熵是增加的，并用熵的物理意义加以解释。 解：
即函数 f ( x) 为减函数，因此有 f (0)?? f (? ) ，即
( p1???? ) log( p1???? )?? ( p 2???? ) log( p2???? )?? p1 log p1?? p 2 log p2
因此 H ( X )?? H ( X??) 成立。
H ( p1 , p2 ,K, p L?1 , q1 , q2 ,K, qm ) ??? p1 log p1?? p 2 log p2?? K?? p L??1 log p L??1?? q1 log q1?? q2 log q 2?? K?? q m log qm ??? p1 log p1?? p 2 log p2?? K?? p L??1 log p L??1?? p L log p L?? p L log p L ? q1 log q1?? q2 log q2?? K?? qm log qm
??? p1 log p1?? p 2 log p2?? K?? p L??1 log p L??1?? p L log p L?? (q1?? q2?? q3?? L?? qm ) log p L ? q1 log q1?? q2 log q2?? K?? qm log qm ??? p1 log p1?? p 2 log p2?? K?? p L??1 log p L??1?? p L log p L
q q q1
? q1 log ? q 2 log 2?? K?? qm log m
p L p L p L ??? p1 log p1?? p 2 log p2?? K?? p L??1 log p L??1?? p L log p L
q q q q q q1
? p L (??log 1?? 2 log 2?? K?? m log m ) p L p L p L p L p L p L
q q1 q2
? H ( p1 , p2 ,K, p L?1 , p L )?? p L H m ( , ,K, m ) p L p L p L
将原信源中某一信源符号进行分割，而分割后的符号概率之和等于被分割的原符号的
概率，则新信源的信息熵增加，熵所增加的一项就是由于分割而产生的不确定性量。 【2.12】（1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用 5×105 个【意义】
【2.11】试证明：若?? pi?? 1，?? q j?? p L ，则 i?1 j??1 L m
【解释】
当信源符号的概率趋向等概率分布时，不确定性增加，即信息熵是增加的。
H ( p1 , p2 ,K, p L?1 , q1 , q 2 ,K, qm )?? H ( p1 , p2 ,K, p L??1 , p L )?? p L H ( 并说明等式的物理意义。 解：
q q1 q
, 2 ,K, m ) p L p L p L
像素和 10 个不同亮度电平，求传递此图像所需的信息率（比特/秒）。并设每秒要传送 30
帧图像，所有像素是独立变化的，且所有亮度电平等概率出现。
（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有 30 个不同的色 彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率约大 2.5 倍。 解：
每个像素的电平取自 10 个不同的电平，每一个像素形成的概率空间为：
? a1 a2 L a10???? X???1?????? 1 1
? P???L?????????????10 10 10???这样，平均每个像素携带的信息量为：
H ( X )?? log10?? 3.32 比特/像素
H ( X N )?? NH ( X )?? 5?? 105?? log10?? 1.66?? 10 6 比特/帧
30?? H ( X N )?? 4.98?? 10 7 比特/秒
除满足黑白电视系统的要求外，还需 30 个不同的色彩度，不妨设每个色彩度等概率出 现，则其概率空间为：
? b1 b2 L b30????Y???1?????? 1 1
?P??L????????????? 30 30 30???
按每秒传输 30 帧计算，每秒需要传输的比特数，即信息传输率为： 现在所有的像素点之间独立变化的，因此，每帧图像含有的信息量为：
其熵为 log 30 比特/符号，由于电平与色彩是互相独立的，因此有
H ( XY )?? H ( X )?? H (Y )?? log 300
这样，彩色电视系统的信息率与黑白电视系统信息率的比值为
H ( XY ) log 300 ? 2.5
H ( X ) log10
【2.13】每帧电视图像可以认为是由 3×105 个像素组成，所以像素均是独立变化，且每一
像素又取 128 个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？
H ( X )?? log128?? 7 比特/像素
H ( X N )?? NH ( X )?? 2.1? 10 6 比特/帧
如果用汉字来描述此图像，平均每个汉字携带的信息量为 H (Y )?? log10000?? 13.29 比特
/汉字，选择 1000 字来描述，携带的信息量为
H (Y N )?? NH (Y )?? 1.329?? 10 4 比特
数为：
H ( X N ) 2.1106 ? 1.58?? 105 字 H (Y ) 13.29 如果要恰当的描述此图像，即信息不丢失，在上述假设不变的前提下，需要的汉字个 每帧图像由 3×105 个像素组成，且像素间是独立的，因此每帧图像含有的信息量为：
每个像素的电平亮度形成了一个概率空间，如下：
? a1 a2 L a128???? X???1?????? 1 1
? P???L?????????????128 128 128???平均每个像素携带的信息量为：
若现有一广播员在约 10000 个汉字的字汇中选 1000 个来口述此电视图像，试问广播员描 述此图像所广播的信息量是多少（假设汉字是等概率分布，并且彼此无依赖）？若要恰当 地描述此图像，广播员在口述中至少需用多少汉字？ 解：
【2.14】为了传输一个由字母 A、B、C 和 D 组成的符号集，把每个字母编码成两个二元
码脉冲序列，以 00 代表 A，01 代表 B，10 代表 C，11 代表 D。每个二元码脉冲宽度为 5ms。 （1） 不同字母等概率出现时，计算传输的平均信息速率？
1 （2） 若每个字母出现的概率分别为 p A???， p B???5
平均速率？
1 ， pC???4 1 ， p D???4 310
，试计算传输的
解：
H ( X )?? log 4?? 2 比特
n?? 100 个，因此信息传输速率为：
R?? nH ( X )?? 100?? 2?? 200 比特/秒
当不同字母概率不同时，平均传输每个字母携带的信息量为
1 1 1 310 ? 1.985 比特/符号 log H ( X )?? log 5?? log 4?? log 4???
5 4 4 10 3 此时传输的平均信息速度为
R?? nH ( X )?? 1.985?? 10 2 比特/秒
【2.15】证明离散平稳信源有 H ( X 3 | X 1 X 2 )?? H ( X 2 | X 1 ) ，试说明等式成立的条件。
解：
H ( X 3 | X 1 X 2 )????????? P( x1 x2 x3 ) log P( x3 | x1 x2 )
X 1 X 2 X 3
假设不同字母等概率出现时，平均每个符号携带的信息量为
每个二元码宽度为 5ms，每个字母需要 2 个二元码，则其传输时间为 10ms，每秒传送
?????? P( x1 x 2 )? P( x3 | x1 x2 ) log P( x3 | x1 x2 )
X 1 X 2 X 3
?????? P( x1 x2 )? P( x3 | x1 x2 ) log P( x3 | x2 ) ? H ( X 3 | X 2 )
根据信源的平稳性，有 H ( X 3 | X 2 )?? H ( X 2 | X 1 ) ，因此有 H ( X 3 | X 1 X 2 )?? H ( X 2 | X 1 ) 。
等式成立的条件是 P( x3 | x1 x2 )?? P( x3 | x2 ) 。
【2.16】证明离散信源有 H ( X 1 X 2 L X N )?? H ( X 1 )?? H ( X 2 )?? L?? H ( X N ) ，并说明等式成立
的条件。 证明：