【4.3】设有一连续随机变量，其概率密度函数为：
?bx 2 0?? x?? a p( x)?????? 0 其他值
试求这随机变量的熵。又若 Y1?? X?? K ( K?? 0) ， Y2?? 2 X ，试分别求出 Y1 和 Y2 的
熵
h(Y1 ) 和 h(Y2 ) 。
h( X )????? p( x) log p( x)dx
0 bx 2 log bx 2 dx ????0 x 2 ln xdx ??? log b?? 2b log e? 2 2 3a b log e?? a 3b log a?? log b 9 3
a
a
解：
由于?? p( x)dx?? 1 ，因此 a 3b?? 3 ，因此
2 h( X )?? log e?? log a?? log 3
3 ?X ? 1 ，因此 当 Y1?? X?? K ( K?? 0) 时， ?Y1 2 h(Y1 )?? h( X )?? E[log1]?? h( X )?? log e?? log a?? log 3 3
?X 1 ，因此 当 Y2?? 2 X 时， 2 ?Y1 1 2 3 h(Y1 )?? h( X )?? E[log ]?? h( X )?? log e?? log a log 2 3 2
【4.4】设给定两随机变量 X 1 和 X 2 ，它们的联合概率密度为
x12?? x 22
?1 ?e 2 p( x1 x2 )???????? x1 , x2?????2??求随机变量 Y1?? X 1?? X 2 的概率密度函数，并计算变量 Y 的熵 h(Y ) 。 解：
x12?? x 22 x 2 ? 1 1 ?1 ?2
e 2 ??e p( x1 x2 )???2??2??
x 2
2 1 ?e 2?? p( x1 ) p( x2 ) 2??
因此 Y1?? X 1?? X 2 也是一个高斯分布的随机变量，其均值为 0，方差为 2，即
1
p( x1 x2 )???2??因此其差熵为
e
y 2 ?? 4
1 1 h(Y )?? log 2?e? y2?? log 4?e
2 2
【4.5】设一连续消息通过某放大器，该放大器输出的最大瞬时电压 b ，最小瞬时
电压为 a 。若消息从放大器中输出，问放大器输出消息在每个自由度上的最大熵
解：
分布时其差熵最大，即
h(Y )?? log(b?? a)
2F log(b?? a) 比特/秒
【4.6】有一信源发出恒定宽度，但不同幅度的脉冲，幅度值处在 a1 和 a2 之间，
此信源连至某信道，信道接收端接收脉冲的幅度 y 处在 b1 和 b2 之间。已知随机变
解：
p( x)???? p( x, y)dy
1
????(a2?? a1 )(b2?? b1 ) 1 a2?? a1
dy
量 X 和 Y 的联合概率密度函数
p( xy)???1
(a2?? a1 )(b2?? b1 )
如果放大器的带宽为 F ，则取样率为 2F ，单位时间内输出的最大信息量为 该问题等价于取值受限的随机变量的最大熵，根据差熵的极值性，当等概率 是多少？又放大器的带宽为 F ，问单位时间内输出最大信息量是多少？
试计算 h( X ) ， h(Y ) ， h( XY ) 和 I ( X ;Y ) 。
同理， p( y)???
因此
1 b2?? b1
。
h( X )????? p( x) log p( x)dx?? log(a2?? a1 ) h(Y )????? p( y) log p( y)dy?? log(b2?? b1 )
h( XY )????? p( x, y) log p( x, y)dxdy?? log(a2?? a1 )?? log(b2?? b1 ) I ( X ;Y )?? h( X )?? h(Y )?? h( XY )?? 0
（1） h( X | Y )?? h( X ) ，当且仅当 X 和 Y 统计独立时等号成立；
（2）h( X 1 X 2 L X N )?? h( X 1 )?? h( X 2 )?? L?? h( X N ) ，当且仅当 X 1 X 2 L X N 彼此统计
独立时等式成立。 证明：
（1）
h( XY )????? p( y)dy? p( x | y) log p( x | y)dx
???? p( y)dy? p( x | y) log p( x)dx ???? p( x, y) log p( x)dxdy
? h( X )
等号成立当且仅当 p( x | y)?? p( x) ，即 p( x, y)?? p( x) p( y) ，因此仅当 X 和 Y 统计
h( X 1 X 2 X N )?? h( X 1 )?? h( X 2 | X 1 )?? h( X 3 | X 1 X 2 )?? L?? h( X N | X 1 X 2 X N??1 )
h( X 1 X 2 L X N )?? h( X 1 )?? h( X 2 )?? L?? h( X N )
等号成立当且仅当
根据（1）的结论，条件差熵小于差熵，因此有 独立时等号成立。
（2）根据条件概率密度的相关公式，有
【4.7】在连续信源中，根据差熵、条件差熵和联合差熵的定义，证明
p( x N | x1 x2 L x N??1 )?? p( x N )
p( x1 x2 L x N )?? p( x1 ) p( x2 )L p( xN )
【4.8】设连续随机变量 X ，已知 X?? 0 ，其平均值受限，即数学期望为 A ，试求
在此条件下获得的最大熵的最佳分布，并求出最大熵。 解：
给定条件如下：
p( x1 x2 )?? p( x1 ) p( x2 ) p( x1 x2 x3 )?? p( x1 ) p( x2 ) p( x3 ) ……
即
p( x2 | x1 )?? p( x2 ) p( x3 | x1 x2 )?? p( x3 ) ……
? p( x)dx?? 1 ? xp( x)dx?? A
目标：求???? p( x) log p( x)dx 的最大值。 构造函数
F ( p( x))????? p( x) log p( x)dx?????? p( x)dx????? xp( x)dx
? log p( x)?? log e????????x?? 0
p( x)?? 2???x?log e
d??? p( x) log p( x)????p( x)????xp( x)??dF ( p( x)) 欲使 ? 0 ，只需 dp( x) dp( x)
?????? p( x) log p( x)????p( x)????xp( x)?dx
? 0 即可，因此有
根据?? p( x)dx?? 1 ，?? xp( x)dx?? A ，可得
?2
????x?log e dx?? 1????????2???log e
1 2
? xp ( x)dx?? A???????? A??log e?? x
???log e??2 1 ，此时 因此 p( x)????log e?2 2 A A
h( X )????? p( x) log p( x)dx
? 1 ??? log???log e?2???????log e?2 ? A????????
【 4.9 】 N 维 连 续 型 随 机 序 列 X 1 X 2 L X N ， 有 概 率 密 度 p( X 1 X 2 L X N ) 以 及
E[( X i?? mi )]???? i2 。证明：当随机序列的分量各自达到正态分布并彼此统计独立
时熵最大。最大熵为
N log 2?e(? 12? 22 L? N2 )1/ N 证明：
h( X 1 X 2 L X N )?? h( X 1 )?? h( X 2 )?? L?? h( X N )
log? (bi?? ai )
i?1N
等号成立当且仅当各分量统计独立。
而对于任何一个分量而言，当 E[( X i?? mi )]???? i2 时，高斯分布的差熵最大，为
1 h( X i )???log 2?e? i2
2 因此原序列差熵的最大值为：
1 1 1 h( X 1 X 2 L X N )???e? N2 log 2?e? 12???log 2?e? 22?? L???log 2?2 2 2
1
N log?2?????e?? 12? 22 L? N2 N???2 ?【4.10】 N 维连续型随机序列 X 1 X 2 L X N ，其各分量幅度分别受限为 [ai , bi ] 。证 明：当随机序列的分量各自达到均匀分布并彼此统计独立时熵最大。最大熵为