?Z?X?Y??1 xi?zk?yj?p(xi/yjzk)????0 xi?zk?yjH(X/YZ)?????p(xiyjzk)log2p(xi/yjzk)ijk
?? ????p(yjzk)??p(xi/yjzk)log2p(xi/yjzk)?jk?i? ?0?I(X;YZ)?H(X)?H(X/YZ)?H(X)?0?H(X) 4)
?Z?X?Y??1 yj?zk?xi?p(yj/xizk)????0 yj?zk?xiH(Y/XZ)?????p(xiyjzk)log2p(yj/xizk)ijk
?? ????p(xizk)??p(yj/xizk)log2p(yj/xizk)?ik?j? ?0?I(Y;Z/X)?H(Y/X)?H(Y/XZ)?H(Y)?0?H(Y) 5)
?Z?X?Y??1 xi?zk?yj?p(xi/yjzk)????0 xi?zk?yjH(X/YZ)?????p(xiyjzk)log2p(xi/yjzk)ijk
?? ????p(yjzk)??p(xi/yjzk)log2p(xi/yjzk)?jk?i? ?0?I(X;Y/Z)?H(X/Z)?H(X/YZ)?H(X/Z)?0?H(X/Z)?Z?X?Y??1 yj?zk?xi?p(yj/xizk)????0 yj?zk?xiH(Y/XZ)?????p(xiyjzk)log2p(yj/xizk)ijk
?? ????p(xizk)??p(yj/xizk)log2p(yj/xizk)?ik?j? ?0?I(X;Y/Z)?H(Y/Z)?H(Y/XZ)?H(Y/Z)?0?H(Y/Z)· 22 ·
?0.980.02?3.6 有一个二元对称信道，其信道矩阵为?。设该信源以1500二元符号/秒的速度??0.020.98?传输输入符号。现有一消息序列共有14000个二元符号，并设P(0) = P(1) = 1/2，问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传递完？
解：
信道容量计算如下：
C?maxI(X;Y)?max?H(Y)?H(Y/X)??Hmax(Y)?Hmi ?log22?(0.98?log20.98?0.02?log20.02) ?0.859 bit/symbol也就是说每输入一个信道符号，接收到的信息量是0.859比特。已知信源输入1500二元符号/秒，那么每秒钟接收到的信息量是：
I1?1500symbol/s?0.859bit/symbol?1288 bit/s
现在需要传送的符号序列有140000个二元符号，并设P(0) = P(1) = 1/2，可以计算出这个符号序列的信息量是
I?14000?(0.5?log20.5?0.5?log20.5) ?14000 bit
要求10秒钟传完，也就是说每秒钟传输的信息量是1400bit/s，超过了信道每秒钟传输的能力（1288 bit/s）。所以10秒内不能将消息序列无失真的传递完。
3.7 求下列各离散信道的容量（其条件概率P(Y/X)如下：） (1) Z信道 (2) 可抹信道 (3) 非对称信道 (4) 准对称信道
?1111??11?s2?3366??22??1?s1?s2s1??10??1111? ?13? ?s1?s? ?s? s1?s?s??2112???????44??6363?解：
1) Z信道
这个信道是个一般信道，利用一般信道的计算方法： a. 由公式
?p(yjj/xi)log2p(yj/xi)??p(yj/xi)?j，求βj
j?1?log21??1??slog2s?(1?s)log2(1?s)?s?1?(1?s)?2??1?0 ?s??s?1?s??logs?log(1?s)?log(1?s)s?222??21?s???b. 由公式C?log2????j??，求C 2???j???jC?log2?2???js?????log2?1?(1?s)s1?s? bit/symbol ????· 23 ·
c. 由公式p(yj)?2?j?C，求p(yj)
p(y1)?2?1?C?11?(1?s)ss1?sp(y2)?2?2?C?(1?s)ss1?ss1?s
1?(1?s)sd. 由公式p(yj)?由方程组：
i?p(x)p(yij/xi)，求p(xi)
?p(y1)?p(x1)?p(x2)s ?p(y)?p(x)(1?s)22?解得
s1?ss1?sp(x1)?1?s1?(1?s)sp(x2)?ss1?s
s1?s1?(1?s)s因为s是条件转移概率，所以0 ≤ s ≤ 1，从而有p(x1)，p(x2) ≥ 0，保证了C的存在。
2) 可抹信道
可抹信道是一个准对称信道，把信道矩阵分解成两个子矩阵如下：
s2?1?s1?s2??s1?M1???,M2??s?s1?s?s212???1?C?maxI(X;Y)???mkp(yk)log2p(yk)?Hmik?1s?p(y1)?p(x1)p(y1/x1)?p(x2)p(y1/x2)?(1?s1?s2)/2?s2/2??1?s1?/2??p(y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?s2/2?(1?s1?s2)/2??1?s1?/2?p(y)?p(x)p(y/x)?p(x)p(y/x)?s/2?s/2?s3131232111??p(yj)p(yk)?p(yj)?Mkmkp(yj)?M1?p(y)jp(y1)?m1p(yj)?M2?jp(y1)?p(y2)??1?s1?/22p(y3)?s11
?p(y)m2?p(y2)?2C???mkp(yk)log2p(yk)?Hmik?1· 24 ·
1?s11?s1?log2?s1log2s1)??(1?s1?s2)log2(1?s1?s2)?s2log2s2?s1log2s1? ??(2?22??(1?s)log1?s1122?(1?s1?s2)log2(1?s1?s2)?s2log2s2 bit/symbol
3) 非对称信道
这个信道是个一般信道，利用一般信道的计算方法 a. 由公式
?p(yj/xi)log2p(yj/xi)?j?p(yj/xi)?j，求βj
j??1?log1?1111?2222log22?2?1?2?2?1??4log124?34log324?14?1?34?2
???1??1.3775??2??0.6225b. 由公式C?log?2?j?2?????j?，求C ?C?log???2?j?2????log??1.3775?2?0.6225?22??0.049 bit/symbol j?c. 由公式p(y?Cj)?2?j，求p(yj)
p(y1)?2?1?C?2?1.3775?0.049?0.327p(y?0.6225?0.049
2)?2?2?C?2?0.628d. 由公式p(yj)??p(xi)p(yj/xi)，求p(xi)
i由方程组：
???0.372?1p(x1)?1p(x2)?24 ???0.628?12p(x1)?34p(x2)解得
??p(x1)?0.488?p(x 2)?0.512p(x1)，p(x2) ≥ 0，保证了C的存在。
(4) 准对称信道
把信道矩阵分解成三个子矩阵如下：
25 ·
·?1?M1??31??61??1??1?6?,M??3?,M??6?1?2?1?2?1??????3??3??6?sk?1C?maxI(X;Y)???mkp(yk)log2p(yk)?Hmi11111?p(y)?p(x)p(y/x)?p(x)p(y/x)?????1111212?23264??p(y)?p(x)p(y/x)?p(x)p(y/x)?1?1?1?1?12121222?26234??p(y)?p(x)p(y/x)?p(x)p(y/x)?1?1?1?1?13131232?23233?11111?p(y4)?p(x1)p(y4/x1)?p(x2)p(y4/x2)?????26266??p(yj)p(yk)?p(yj)?Mkmkp(yj)?M1?p(ym1j)?p(y1)?p(y1)?p(y2)?11?1????/2?24?44?p(y3)1?13p(y4)1?16
p(y2)?p(yj)?M2?p(ym2j)?p(y3)?3p(yj)?M3?p(ym3j)?C???mkp(yk)log2p(yk)?Hmik?1111111?11111 ??(2??log2?log2?log2)??log2?log2?log2443366?33336 ?0.041 bit/symbol
1?6??3.8 已知一个高斯信道，输入信噪比（比率）为3。频带为3kHz，求最大可能传输的消息率。
若信噪比提高到15，理论上传送同样的信息率所需的频带为多少？
解：
?PX?Ct?Wlog? bit/s?1?P???3000?log2?1?3??6000N?? Ct6000W???1500 Hz?PX?log2?1?15?log??1?P??N??
3.9 有二址接入信道，输入X1, X2和输出Y的条件概率P(Y/X1X2)如下表（ε < 1/2），求容量
界限。
· 26 ·