= H X(
1
) + H X(2 ) + +... H X(N)
1
H X( N /Y N) = H X Y( /N) + H X Y X(2 /
N
1
) + +... H X(
1
N
/Y XN
1
...XN?1)
N 1
∴I X( N;YN) =[H X( 1) + H X(2 ) + +... H X( N)]?H X Y(
=H X(
N
[
1
) ?H X Y(
N
1
/
N
[
)] [+ H X(
/N) + H X Y X(2 /
2
) + +... H X(
N
/Y XN
2
) ?H X Y X( /
N 1
)+ +... H X(
][
) ?H X( N
/Y XN1...XN?1)
]
2)
=∑H X( k=1 ?H X( k /Y XN
[
k
) ?H X( k /Y XN 1...Xk?1)
/Yk)
]
...X) H X(
k
∴H X( k) ?H X( k /Y XN 1...Xk?1)≥[H X( k) ?H X( k /Yk)]= I X Y(k; k)
N ∴I X( N;Y N) ≥∑I X Y(k; k)
k=1
[]
I X( N ;Y N ) = H Y( N )?H Y( N / X N )
i2
H Y( N ) = H Y( 1)+ H Y( 2 /Y1)+ +...H Y( N /Y1...YN?1)
nN mN
H Y( N / X N ) =?∑∑ p a b( ij )log p b( j / ai )
i n
j n
m
m
=?∑ ∑...∑ ∑...
...xiN )
i1 iN j1 jN n n m m
p x x( i1 i...x y yiN
2
j1 j2
...y jN )log p y y( j1
j2
...yjN / x xi1
=?∑ ∑...∑ ∑...
xi2 )... (p y jN / xiN )
i1 iN j1 jN n n m m
p x x( i1 i...x y yiN
2
j1 j2
...yjN )log p y( j1 / xi1 ) (p y j2 /
=?∑ ∑...∑ ∑...
i1 iN j1 jN n n m m
p x x( i1 i...x y yiN
2
j1 j2
...y jN )log p y( j1 / xi1) ...y jN )log p y( j2 / xi2 )
·36·
?∑ ∑...∑ ∑...
i1
iN
j1
jN
p x x( i1 i...x y yiN
2
j1 j2
...
n
n
m
m
?∑ ∑...∑ ∑...
p x x( i1 i...x y yiN
2
j1 j2
...y jN )log p y( jN / xiN )
i1 iN j1
jN
= H Y( 1 / X1)+ H Y( 2 / X 2 )+ +... H Y( N / X N )
∴I X(N ;Y N ) =[H Y( 1)+ H Y( 2 /Y1)+ +...H Y( N /Y1...YN?1)] [?H Y( 1 / X1)+ H Y( 2 / X 2 )+ +...H Y( N / X N )] =[H Y( 1)?H Y( 1 / X1)] [+ H Y( 2 /Y1)?H Y( 2 / X 2 )]+ +... [H Y( N /Y1...YN?1)?H Y( N / X N )]
N
)
=∑[H Y( k /Y1...Yk?1)?H Y( k / X k ]
k=1
?H Y( k /Y1...Yk?1) ≤ H Y( k )
∴[H Y( k /Y1...Yk?1)?H Y( k / X k )] [≤ H Y( k )?H Y( k / X k )]= I X(k ;Yk )
N
∴I X( N ;Y N ) ≤∑I X( k ;Yk )
k=1
3)
如果信源、信道都是无记忆的。上面证明的两个不等式应同时满足，即：
N
I X(
N
;Y
k
N
) ≥∑I X(
N
;Yk )k=1
I X(
N
;Y
k
N
) ≤∑I X(
;Yk )k=1
必然推出，I X(
N
;Y N ) ≡∑I X(
N
k
;Yk )，而如果X N ,Y N 是平稳分布，即X1 = X 2 = ... = X N =
X ，k=1
4)
Y1 = Y2 = ... = YN = Y ，那么I X(
k=1
N
;Y ) ≡∑I X(k ;Yk ) = NI X(
N
N
k
;Yk )。
流经信道的信息量也是信宿收到的信息量，它等于信源信息的不确定度减去由信道干扰造成的不确定度。
·37·
当信源无记忆、信道有记忆时，对应于本题的第一种情况。信源是无记忆的，信源的不确定度等于N 倍的单符号信源不确定度，信道是有记忆的，信道干扰造成的不确定度小于N 倍单符号信道的不确定度。因此，这两部分的差值平均互信息量大于N 倍的单符号平均互信息量。
当信源有记忆、信道无记忆时，对应于本题的第二种情况。信源是有记忆的，信源的不确定度小于N 倍的单符号信源不确定度，信道是无记忆的，信道干扰造成的不确定度等于N 倍单符号信道的不确定度。因此，这两部分的差值平均互信息量小于N 倍的单符号平均互信息量。
当信源无记忆、信道无记忆时，对应于本题的第三种情况。信源是无记忆的，信源的不确定度等于N 倍的单符号信源不确定度，信道是无记忆的，信道干扰造成的不确定度等于N 倍单符号信道的不确定度。因此，这两部分的差值平均互信息量等于N 倍的单符号平均互信息量。
3.17 设高斯加性信道，输入、输出和噪声随机变量X, Y, N之间的关系为Y = X + N，且E[N]
2
= σ。试证明：当信源X是均值E[X] = 0，方差为σ
2
2 X
的高斯随机变量时，信道容量达其容量
C，且C = 12 ?
2
log ??σ
X2
???。
?1+σ2 ?证明：
C = max (I X Y; ) = max[H Y( ) ?H
Y X( n,? ??
/
)]
?X
p xy() = p x n( , = ?y x J)
?X Y,? ?X = X n Y, = ? X
?X ?n ?X n, ?
?X
?X = 1 ?1=1
0 1
∴J? ?=
?X Y, ? ?X ?n ?Y ?Y
∴p xy( ) = p xn()
∴p x p y x( ) ( / ) = p x p n( ) ( ) ∴p y x( / ) = p n( )
H Y X(
/
X Y,
) =?∫∫p xy(
1
)log p y x dxdy( / )
=?X n∫∫, p xn J( )log p n( ) J dxdn =?∫ p x dx p n( ) ∫ ( )log p n dn( )
X n
·38·
=?∫ p n( )log p n dn( )
n = H n( )
∴C = max (I X Y; ) = H Y( )max ?H n( ) 根据概率论中的结论：n 是正态分布，X 是正态分布，则Y = X + n
也是正态分布，而且σ σ σ就是说σ
2
X取最大值。因为当
2 Y
= X2 + n2 。所以H Y( )max =log2πσe Y2 ，前提是σ2
Y取最大值，也
X 是均值为零的正态分布时，H X( )max =log2πσe X2 ，所以这是满足H
Y( )max = log2πσe Y2 的前提条件。
∴C = max (I X Y; ) = H Y( )max ?H n( )
= 12log 1??? +σ?σ
n2
X2
???
?
3.18 设加性高斯白噪声信道中，信道带宽 3kHz，又设{(信号功率+噪声功率)/噪声功率}=10dB。试计算该信道的最大信息传输速率C。解：
Ct =W log 1???? + PPNX ????
t
PX + PN
=10
PN
Ct =W log 1
?PX ?
??= 3000×log 102 = 9966 bit s/ ??? + PN ?
3.19 在图片传输中，每帧约有2.25?10个像素，为了能很好地重现图像，能分16个亮度电平，
并假设亮度电平等概分布。试计算每分钟传送一帧图片所需信道的带宽（信噪功率比为 30dB）。解：
6
H = log2 n = log 162
=10
I 9 10× 6
= 4 bit symbol/
I = NH = 2.25 10× 6 × = ×4 9 106bit
·39·
Ct = = =1.5 10× 5bit s/ t 60
? P ?
Ct =W log 1??? + PNX ???
C
1.5 10× 5
W = t = =15049 zH
log 1???? + PPNX ????log (1 1000)2 +
3.20 设电话信号的信息率 5.6?10比特/秒，在一个噪声功率谱为 N= 5?10 mW/Hz、限频 F、限输入功率P的高斯信道中传送，若F=4kHz，问无差错传输所需的最小功率P是多少瓦？若F→∞，则P是多少瓦？解：
4
-6
0
? + ? Ct =W log 1???WNPX 0 ???
??4000
?1???= 4000× ×5 10×??25.6 10× 4 ?1??= 0.328 W
?9
PX =WN0 ???2C
W
t
?
F →∞
PX ? ? ?
Ct =
N0
log2 e
?4
C Nt 0 5.6 10× 4 × ×5 10?9
PX = = =1.94 10×W log2 e log 2.718282
·40·