2002 Copyright EE Lab508
解：
由题意?I(A;B)?logp(AB)p(A)?1?p(AB)?2p(A)
?p(A)?10?2时,p(AB)?2?10?2 p(A)?132时,p(AB)?116 p(A)?0.5时,p(AB)?1
2.6某信源发出8种消息，它们的先验概率以及相应的码字如下表所列。以a4为例，试求： 消息 概率 码字 a1 1/4 000 a2 1/4 001 a3 1/8 010 a4 1/8 011 a5 1/16 100 a6 1/16 101 a7 1/16 110 a8 1/16 111
(1) 在W4＝011中，接到第一个码字“0”后获得关于a4的信息量I(a4;0)；
(2) 在收到“0”的前提下，从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0)； (3) 在收到“01”的前提下，从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01)； (4) 从码字W4＝011中获取关于a4的信息量I(a4;011)。 解：
(1)I(a4;0)?logp(a40)p(a4)?log(1/8)/(1/4?1/4?1/8?1/8)4?log?0.415 bit1/83(1/8)/(1/8?1/8)?log3?1.585 bit(1/8)/(1/4?1/4?1/8?1/8)1?log2?1 bit(1/8)/(1/8?1/8)1?log8?3 bit1/8n
(2)I(a4;10)?logp(a401)p(a40)?log(3)I(a4;101)?log(4)I(a4;011)?logp(a4011)p(a401)p(a4011)p(a4)
?log?log2.13把n个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0 ?H.F. 2002 Copyright EE Lab508 解： 用数学归纳法证明:当n?2时由:p??1?pp??2p?2p21?2p?2p2??1?p[P2]??????p1?p???2p1?p2p?2p2??????1?2p?2p1?p2?2p?2p2?[1?(1?2p)2]2假设n?k时公式成立,则?1k[1?(1?2p)]?2[Pk?1]??1k?[1?(1?2p)]?2?1k?1[1?(1?2p)]?2 ??1k?1?[1?(1?2p)]?21?Pk?1?[1?(1?2p)k?1]21故Pn?[1?(1?2p)n]21?[1?(1?2p)k]??1?pp?2???p1?p?1k?[1?(1?2p)]??2?1?[1?(1?2p)k?1]?2?1k?1[1?(1?2p)]?2?11?1?2p?1?limPn?lim[1?(1?2p)n]?n??n??22设输入信源空间X0:p(X0?0)?a,p(X0?1)?1?a(其中0?a?1)则输出信源X?:p(X??0)?p(X0?0)?p(X??0X0?0)?p(X0?0)?p(X??0X0?1)?12?p(x?x0)?p(x?)(x0、x?取0或1) p(X??1)??limI(X0;Xn)???p(X0iX?j)logn??i?1j?1222212p(X?jX0i)p(X?j)???p(X0iX?j)logi?1j?122p(X?jX0i)p(X?j) ???p(X0iX?j)log1?0i?1j?1 ?H.F. 2002 Copyright EE Lab508 2.18试求下列各信道矩阵代表的信道的信道容量： (1) b1 b2 b3 b4 a1?0010?[P?a2?1000?1]a?? 3?0001?a?0100?4??(2) b1 b2 b3 a1?100?a2?100[Pa???010?? 2]?3a?010?4??a5?001a??001?6??(3) b1 b2 b3 b4 b5 b6 b7 b8 b9 a1?0.10.20.30.400000[P3]?a2?00000.30.a?70003??0000000.40.20.1解： (1)信道为一一对应确定关系的无噪信道?C?logr?log4?2 bit/symble(2)信道为归并性无噪信道?C?logs?log3?1.585 bit/symble (3)信道为扩张性无噪信道:?C?logr?log3?1.585 bit/symble 2.19设二进制对称信道的信道矩阵为： 0 1[P]?0?3/41/4? 1??1/43/4??(1) 若p(0)=2/3，p(1)=1/3，求H(X)，H(X/Y)，H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到的输入概率分布。 b10 0?0? 0.3????H.F. 2002 Copyright EE Lab508 解： 2211(1)H(X)???p(xi)logp(xi)??(?log??log)?0.9183 bit/symble3333i?1py(0)??p(xi)p(y?0xi)?i?122223117????34341221135????3434127755?log??log)?0.9799 bit/symble1212121222py(1)??p(xi)p(y?1xi)?i?12 H(Y)???p(yj)logp(yj)??(j?122H(YX)????p(xiyj)logp(yjxi)????p(xi)p(yjxi)logp(yjxi)i?1j?1i?1j?1233111211133 ??(?log??log??log??log)?0.8113 bit/symble344344344344?I(X;Y)?H(Y)?H(YX)?0.9799?0.8113?0.1686 bit/symbleH(XY)?H(X)?I(X;Y)?0.9183?0.1686?0.7497 bit/symble(2)本信道为强对称信道?C?logr?H(?)??log(r?1)?log2?H(0.25)?0.25log1?0.1887bit/symble1信源输入为等概分布,即p(X?0)?p(X?1)?时达到信道容量C.2 2.20设某信道的信道矩阵为 b1 b2 b3 b4 b5 a1?0.60.10.10.10.1?a2?0.10.60.10.10.1??? [P]?a3?0.10.10.60.10.1???a4?0.10.10.10.60.1?a5??0.10.10.10.10.2??试求： (1) 该信道的信道容量C； (2) I(a3;Y)； (3) I(a2;Y)。 解: (1)本信道为强对称离散信道?C?logr?H(?)??log(r?1)?log5?H(0.4)?0.4log4?0.551bit/symble (2)、(3)I(a3;Y)?I(a5;Y)?C?0.551bit/symble ?H.F. 2002 Copyright EE Lab508 2.21设某信道的信道矩阵为 b1 b2 b3 b4 a1?1/31/31/61/6? [P]??a2?1/61/61/31/3??试求： (1)该信道的信道容量C； (2)I(a1;Y)； (3)I(a2;Y)。 解: （1）本信道为对称离散信道1111?,p2?,p3?,p4?)?log4?H(,,,)?0.0817bit/symble ?C?logs?H(p13366(2)、(3)I(a1;Y)?I(a2;Y)?C?0.0817bit/bymble 2.22设某信道的信道矩阵为 ?1/21/41/81/8?[P]??? 1/41/21/81/8??试该信道的信道容量C； 解: 此信道为准对称离散信道,且s1?2,s2?2111133?[?]????p(bl)l?1r24248111111p(b12)?p(b22)??[?]????p(bl)l?2r88248p(b11)?p(b21)?33111111?,p2?,p3?,p4?)??[2?log?2?log]?H(,,,)?C???slp(bl)logp(bl)?H(p188882488l?1 ?0.0612bit/symble 2.23求下列二个信道的信道容量，并加以比较(其中0 p??q???H.F.