H ( X | Z )?? H ( XZ )?? H (Z )?? 0.689 比特/符号
H (Y | Z )?? H (YZ )?? H (Z )?? 0.689 比特/符号
H ( X | YZ )?? H ( XYZ )?? H (YZ )?? 2?? 1.5?? 0.5 比特/符号
同理， H (Y | XZ )?? 0.5 比特/符号
I ( X ;Y )?? H ( X )?? H ( X | Y )?? 0 比特/符号
I ( X ; Z )?? H ( X )?? H ( X | Z )?? 0.311比特/符号
I (Y ; Z )?? H (Y )?? H (Y | Z )?? 0.311比特/符号
I ( X ;Y | Z )?? H ( X | Z )?? H ( X | YZ )?? 0.689?? 0.5?? 0.189 比特/符号
I (Y ; X | Z )?? I ( X ;Y | Z )?? 0.189 比特/符号
I (Z ; X | Y )?? H (Z | Y )?? H (Z | XY )?? 0.5 比特/符号
I (Z ;Y | X )?? H (Z | X )?? H (Z | XY )?? 0.5 比特/符号
I ( XY ; Z )?? H (Z )?? H (Z | XY )?? 0.811比特/符号
I ( X ;YZ )?? H ( X )?? H ( X | YZ )?? 1?? 0.5?? 0.5 比特/符号
I (Y ; XZ )?? H (Y )?? H (Y | XZ )?? 0.5 比特/符号
【3.8】 有一个二元信道，其信道如右图所示。设该信 道以 1500 个二元符号/秒的速度传输输入符号，现有一 消息序列共有 14000 个二元符号，并设在这消息中
1 P(0)?? P(1)???。问从信息传输的角度来考虑，10 秒内
2 能否将这消息序列无失真地传送完。
0 1 0.98 0.98 1 0
解：
?0.98 0.02??
该信道的信道矩阵为???? ，信道容量为： ?0.02 0.98??
C?? log 2?? H (0.98,0.02)?? 0.8586 比特/符号
10 秒内可以传输的最大信息量为：
1500?? 0.8586??10?? 1.288??10 4 比特
10 秒钟内不可能把上述 14000 个符号传输完。
【3.9】 求下图中信道的信道容量及其最佳的输入概率分布。
1/2
1/6 1/2 1/6 1/2 1/6 而 14000 个符号中所含有的信息量为：14000 比特，因此从信息的角度来考虑，
解：两个信道的信道矩阵分别如下：
? 1
? 1 1 1 1???? 2 ??
? 3 6 3 6?? ，?? 1 ? 1 1 1 1??????? 6 ??? 6 3 6 3????? 1 ?? 3
1 3 1 2 1 6
1???6 ???1?????3???1???2????
可见，两个信道均是对称信道，信道容量分别为：
1 1 1 1 C1?? log 4?? H ( , , , )?? 0.0817 比特/符号
3 6 3 6 1 1 1 C2?? log 3?? H ( , , )?? 0.126 比特/符号
2 6 3
输入的最佳分布是等概率分布。
【3.10】 求下列两个信道的信道容量，并加以比较
???? p?????p??（1）??????? p?????p??
2????
???? p?????p??（2）??????2?????? p?????p??
2??0
0???2?????
解：这两个信道均是准对称信道，当输入符号等概率时，平均互信息达到信道容 量，具体如下：
（1）该准对称信道的信道容量为：
H ( p???? , p???? ,2? ) C1 ? max{H (Y )}??1?? 2? 1?? 2? 1?? 2? 1?? ? 2? log 2??? H ( p???? , p???? ,2? ) ??????2??log log 2 2 2 2
2 ? (1?? 2? ) log ? ( p???? ) log( p???? )?? ( p???? ) log( p???? )
1?? 2??（2）该准对称信道的信道容量为：
H ( p???? , p???? ,2? ) C2 ? max{H (Y )}????????1?? 2? 1?? 2? 1?? 2? 1?? ??? log?????? log???? H ( p???? , p???? ,2? )
2??log log 2 2 2 2
2
? (1?? 2? ) log ? ( p???? ) log( p???? )?? ( p???? ) log( p???? )?? 2??1?? 2??? C1?? 2??【3.11】 求下图中信道的信道容量及其最佳的输入概率分布，并求出???? 0 和
1 ????时的信道容量 C 。
2
1 0 0 1-ε 1 1
1-ε 2 2 解：
该信道的信道矩阵如下：
?0 1????? ?1 0 0?????????????0?????1???????
该信道既非对称信道，也非准对称信道，因此根据一般信道容量的计算公式，有
? P(b j | ai )? j???? P(b j | ai ) log P(b j | ai ) 即
??1?? 0 ???(1???? )? 2????? 3?? (1???? ) log(1???? )???? log?????? )? 3??? (1???? ) log(1???? )???? log??????? 2?? (1??
解得：
?1?? 0 ，?? 2???? 3?? (1???? ) log(1???? )???? log???而信道容量
??C ? log?? 2 j
? log 1?? 2(1?????? )1?????
??1
1?? 2(1???? )1???????信道的输出符号概率为：
P(b1 )?? 2??1?C???
可得：
P(b2 )?? 2?? 2??C???(1???? )1???????1?? 2(1???? )1???????
(1???? )1???????P(b3 )?? 2? 3??C???1?? 2(1???? )1???????而
P(b1 )?? P(a1 )
P(b2 )?? (1???? ) P(a2 )????P(a3 ) P(b3 )????P(a2 )?? (1???? ) P(a3 )
1 1?? 2(1???? )1???????
(1???? )1???????P(a2 )???1?? 2(1???? )1??????P(a1 )???
P(a3 )???
当???? 0 时， C?? log 1?? 2(1???? )
(1???? )1???????1?? 2(1???? )1???????
1 ????? 1?????当?????2 时， C?? log??1?? 2???????? log 2 。 【3.12】 试证明 H ( X ) 是输入概率分布 P( x) 的上凸函数。 证明：
H ( X )????? P( x) log P( x)
??
?????????? log 3 ，信道为一一对应信道；
????? 2?????
X
设存在两个概率分布 P1 ( x) 和 P2 ( x) ，目标是要证明
?H ( P1 ( x))???? H (P2 ( x))?? H (?P1 ( x)???? P2 ( x))
证明过程如下：
?H ( P1 ( x))???? H ( P2 ( x))?? H (?P1 ( x)???? P2 ( x))
?????? P1 ( x) log P1 ( x)?????? P2 ( x) log P2 ( x)???????P1 ( x)???? P2 ( x)?log P( x) P( x) P( x)
????? P1 ( x) log ????? P2 ( x) log P1 ( x) P2 ( x) ? P( x) ??????????????? P( x)
??? log e? P1 ( x)???? 1?????? log e? P2 ( x)???? P1 ( x) ??????????????? P2 ( x)
? 0
??? 1?????
【3.13】 从平均互信息的表达式证明，当信道和信源都是无记忆时，有
I ( X N ;Y N )?? NI ( X ;Y )
证明：设?? k????ak1 ak 2 Lak N?? ,?? h????bh1 bh2 LbhN?? ，按照给定信道和信源均是无记忆，
有
P(? k )?? P(ak1 ak 2 Lak N )?? P(ak1 ) P(ak 2 )L P(ak N )
P(? h |?? k )?? P(bh1 bh2 LbhN | ak1 ak 2 Lak N )?? P(bh1 | ak1 )P(bh2 | ak 2 )L P(bhN | ak N )
P(? h )?? P(? k ) P(? h |?? k )
? P(ak1 )P(ak 2 )L P(ak N ) P(bh1 | ak1 )P(bh2 | ak 2 )L P( hN | ak N )
? P(bh1 ) P(bh2 )L P( hN )