证明：
h( X 1 X 2 L X N )?? h( X 1 )?? h( X 2 )?? L?? h( X N )
而对于任何一个分量而言，当幅度分别受限为 [ai , bi ] 时，均匀分布的差熵最大，
【4.11】 设 X 1 X 2 L X N 都是互相独立的正态分布的随机变量，其方差分别为?? 12 ，
设 X 1 和 X 2 是相互独立的正态分布的随机变量，其均值为 mi ，方差为?? i2 。设
Y2?? X 1?? X 2 ，根据已知条件，有
X 1?? X 1
Y2?? X 1?? X 2
因此有
?X 1 X 1 p( x1 , y2 )?? p( x1 , x2 ) ??X 1 ?X 2 1 1 ? p( x1 , x2 ) 0 1 ?Y2 ?X 1 ?Y2 ?X 2
为
h( X i )?? log?bi?? ai???因此原序列差熵的最大值为：
h( X 1 X 2 L X N )?? log?b1?? a1???? log?b2?? a2???? L?? log?bN?? aN???? log????bi?? ai???i?1 N
等号成立当且仅当各分量统计独立。
? 22 ，…,?? N2 ，均值分别为 m1 , m2 ,L, mN 。试证明 Y?? X 1?? X 2?? L?? X N 仍是正态 随机变量，其均值为 m???? mi ，方差?? 2????? i2 。 证明：
? p( x1 , x2 )?? p( x1 ) p( x2 ) ? p( x1 ) p( y2?? x1 )
因此有
p( y2 )???? p( x1 y 2 )dx1
??? p( x1 ) p( y2?? x1 )dx1 ????1??????x1?? m1??2?? 1?????? y2?? x1?? m2??2???exp??exp??dx2????2
1???? 2 1??? 2??? 2???? 2? 2??????
????2??exp?????????1?? ?????????x1?? m1??2?? y 2?? x1?? m2??2??? dx1 2?2 1? 2???? 1 2? 2??????
而
???x1?? m1??2???? y2?? x1?? m2??2 2?2
1 2? 2 2
???????????1 2????????x?1??? m1???? y2?? x1?? m2??2????????2
1?????????? 2???????
????1 2 2 ??2? 12? 22
? 2 2 2 2 2 2 2 2 ????1 2??? 1???? 2??x1?? 2x1?? 1 m2???? 1 y2?? m1? 2?????? 2 m1???? 1 m2???? 1 y 2?? 2? 1 y2 m2 12? 22 2 2 2 2 ????1???? 1 2???1?????? 2????? x1???? 2x 21 m????? 1 ?? 2 1 y2??2 m 1 ? 2 ???? ?? 2 ???????? m 1 ?? ?? 2 1 y2?? 2? 1 y 2 m2????????2???? 1 ? 2???????????????? 1???????? 1??????1????????? 2???????????????? 1???? 2??????????
2 m 12 y2?? m1? 22??? ???2
??? 1 2??? x1?? 1 2???????????????? ? 2
12?2?????? 22 2?? 2 ( y2??
m1?? m2 ) 2??? 1 ?1 2????????????? m 1???????? 2??????? ????? 2 12 y 2?????????1???? 1 ??? x m1? 22???2
2???1?? 1 2???????????????? 2????? ???1?? ??1 ?? 2 ) 2????2 ??2 2 2 ??2(? 12
( y2?? m1?? m2 ) 2
1 2 所以
???
??? y 2?? x1?? m2??2??dx1 2
2? 2??????
1?????? 1 ?
??
2 2
???
1
? 2
?
??? 2
? 1
? 1?? 1 1????
2
??? 12???? 22
1 ?
?? 2?? 1? 2
1 2 2
2???? 1??? 2???
??
1
2?????????
??
因 此 ， Y2?? X 1?? X 2 是 均 值 为 m1?? m2 ， 方 差 为?? 12???? 22 的 高 斯 分 布 ，Y3?? X 1?? X 2?? X 3 ，……， Y?? X 1?? X 2?? L?? X N 均为高斯分布，因此
Y?? X 1?? X 2?? L?? X N 是正态随机变量，其均值为 m???? mi ，方差?? 2????? i2 【4.12】设某连续信道，其特性如下：
1
1 p( y | x)???2
? 3??e
而且输入变量 X 的概率密度函数为
p( x)???1
2
2
2????试计算：
（1） 信源的熵 h( X ) ；
理 ，
同
（2） 平均互信息 I ( X ;Y ) 。 解：
p( y2 )???????2??1?2??? 2(?1????2 )
2 2 1 1????????x1?? m1??2 p( x)???exp???2?????2 ?2 21
??
exp??? m1?? m2 ) 2???2??? 2(? y 2 2??? 12 m2???? 12 y2?? m1? 22????????????dx1 ? exp??? 2?????? 12???? 22??????? x1????????exp???( y2?? m1?? m2 ) 2???? 2(? 1???? 2 ) ? 1??? 1?? 1????? 2???????
2
? ( y 2?? m1?? m2 ) 2???exp???2(? 12???? 22 )???
?( y?? x ) 2 / 3? 2 e??x / 4??e?? x / 4??e??x / 2?2??可见， X 为均值为 0，方差为 2? 2 的正态分布，其差熵为
h( X )???1 2 log 2?e2? 2???1 2
log 4?e? 2
p( x, y)?? p( x) p( y | x)
?? ??1 ??
2 ?? x 2 ????? y?? x?????1????? 2 3??exp???2 ??2????? 2???? 4??3? 2 ?? ?????
???1
? 4x 2?? 4 y 2?? 4xy???
2 3 ??exp??? 2 12??
?????????????????
? 2
????
2 ????x???1???y????? 3 2y??????
1 2 3??? 2 exp????????
?2???4 3??2 ?????? ??? ???
??? 1??? 2 ??1 ??? ???? x?? y??? 2??? y 2?????2 3??exp?? ???????? 2 3? 2 4 2?????????而
???? 2 ??? x?? y???1???
?? p( y)???? p( x, y)dx?????
exp 2 3??? ?????1 y???? 2??? ??3??2 4? 2??? 2
??????dx 2 ?
??1???? x? y?????2 ? 1???
???????
?? 2???3????
??1 ????y 2????dx1 ??? ?2????????????????????e1 x ?? ????y y 2 ????? 2 3???2
e 4??? e 4??? e d?? 2??2 ?2 ? x? y??? ?? 2????
2???????? 3????? ??????????????????2 ??
1 e 4???y 2 e??t dt
2
2???e?? 4??1 y 2
2
2????因此 Y 是均值为 0，方差为 2? 2 的高斯分布，其差熵为
log 2?e?? 2? ??
2?? log 4e 2
h(Y )???1 1 2 2而条件熵为
3????