HC ( )Y
Hc (XY) = ?∫∫ p xy()log p xy dxdy( )
R
H (X) log r log ebit/symbol
1 r 2 dxdy )
= ?∫∫R p xy( )logπ= logπr 2 ∫∫ p xy dxdy(
R
= log2πr 2bit/symbol
Ic (X Y; ) = Hc (X) + H Yc ( ) ?Hc (XY) = 2log2πr ?log2 e ?logπr 2 = log2π?log2 ebit/symbol
2.19 每帧电视图像可以认为是由3?10个像素组成的，所有像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量？若有一个广播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要多少汉字？解：
5
1)
H X() = logn = log128 = 7 bit symbol/
H
X( N ) = NH X( ) = 3 10× symbol/
5
×7 = 2.1 10×
6
bit
2)
H X() = logn = log10000 =13.288 bit symbol/
H
X( N ) = NH X( ) =1000 13.288× =13288 bit symbol/
3)
N = H X( N ) = 2.1 10X( ) 13.288
× 6 =158037H
·21·
2.20 设X = X X1 2...X N 是平稳离散有记忆信源，试证明：
H X X( 1 2...X N ) = H X( 1)+ H X( 2 / X1)+ H X( 3 / X X1 2)+...+ H X( N / X X1 2...X N?1)。
证明：
2
H X X(
1 2
...X N )
2
2
= ?∑∑ ∑...p x x( i1 i...xiN )log p x x( i1 i...xiN )
i1
i2
iN
= ?∑∑ ∑...p x x( i1 i...xiN )log p x( i1 ) (p xi2 / xi1 )... (p xiN / xi1...xiN?1 )
2
i1 i2
iN
? = ?∑ ∑ ∑?
?
... ?
2
?
2
?
p x
p x x( i1 i...xiN )?log p x( i1 ) ?∑∑ ∑?...
i1
i2
x( i1 i...xiN )?log p x( i2 / xi1 ) i1 ?i2 iN
?
iN
?
...?∑∑ ∑... p x x( i1 i...xiN )logp x( iN / xi1...xiN?1 )
i1
i2
iN
= ?∑ p x( i1 )log p x( i1 ) ?∑∑ p x x( i1 i)log p x( i2 / xi1 )
2
i1 i1
i2
...?∑∑ ∑... p x x( i1 i...xiN )logp x( iN / xi1...xiN?1 )
2
i1 i2
iN
= H X(1) + H X(2 / X1) + H X(3 / X X12 ) +...+ H X(N / X X1 2...X N?1)
2.21 设X = X X1 2...X N 是N维高斯分布的连续信源，且X1, X2, … , XN的方差分别是
σσ σ12, 22,..., N2 ，它们之间的相关系数ρ(X Xi j ) = 0(i j, =1,2...,N i, ≠ j) 。试证明：N维高斯分布的
连续信源熵
Hc (X) = Hc (X X12...X N ) = 12 ∑Ni log2πσe i2
证明：相关系数ρ
(x x
i j
)= 0 ,(i
j =1,2,..., N, i ≠ j)，说明XX X1 2... N
是相互独等的。
·22·
?H (X )
log2 e 2
c
i
= πσi
2
∴Hc (X) = Hc (X1 )+ Hc (X 2 )+...+ Hc (X N )
1 N
i=1
2.22 设有一连续随机变量，其概率密度函数p x( ) = ?
(1) 试求信源X的熵Hc(X)；
(2) 试求Y = X + A (A > 0)的熵Hc(Y)； (3) 试求Y = 2X的
熵Hc(Y)。
解： 1)
Hc (X) = ?∫R f x( )log f x dx( )= ?∫R f x( )logbx dx2
= ?logb?∫R f x dx( ) ?∫R f x( )logx dx2
= ?logb?2b∫R x2 logxdx
= ?logb?2ba3 log a3
9 e bx3 ba3 ?FX ( )x = ,FX ( )a = =1 3 3
2 a3
∴Hc (X) = ?logb? ?log bit symbol/
3 e
2)
?0 ≤ x ≤ a ? 0 ≤ y ?A ≤ a ∴A ≤ y ≤ a + A
FY ( )y = P Y(≤ y) = P X(+ A ≤ y) = P X(≤ y ?A)
?bx2
= ∫Ay A?bx 0
dx2
f y( ) = F y′( ) = b y( H Yc ( ) = ?∫R f y( )log f y dy( ) = ?logb?∫R f
y dy( ) = ?logb ?2b∫R (y ?A)2 log(y
?A d y) ( 0 ≤ x ≤ a
其他
·23·b
3(y
?A)2
?
?=
2ba3
= ?logb ?
a3
log bit symbol/ 9 e
ba3 =1 2
a3 e
?FY ( )y = b (y ?A)3 ,F aY ( + A) =
3 3 ∴H Yc ( ) = ?logb? ?log 3)
bit symbol/
3
y
?0 ≤ x ≤ a ? 0 ≤ ≤ a
2
∴0 ≤ y ≤ 2a
y
FY ( )y = P Y(≤ y) = P(2X ≤ y) = P X(≤ )
2
y
= ∫0bx dx
2
2
=
3
24y
b
b 2
f y( ) = F y′( ) = y
8
b 2
H Yc ( ) = ?∫R f y( )log f y dy( )= ?∫R f y( )log 8 y dy
b
2
= ?log 8 ?∫R f y dy( ) ?∫R f y( )log y dy
·24·
y
ydyb 2ba3 8a3
log ? log 8 9 e
2ba3 a3 9?2ba3 logb ? log + 9 e 3
?FY ( )y = y3 ,FY (2 )a = ba3 =1b 24 3
H Yc ( ) = ?logb? ?log +1 bit symbol/
2
a33
e
·25·= ? = ?
∴