最佳输入分布（即达到信道容量的输入分布）是输入为等概率分布。 现计算这二元对称信道能传输的最大的信息传输速率。这信道是二元对称信道，信道传递矩阵
P???0.980.02??
0.020.98??所以其信道容量（即最大信息传输率）
C?1?H(p)?1?H(0.98)?0.8586 比特/符号 3.5.5 （原3.8，傅详3.11） 设信道转移矩阵为
00??1?01?p? ??P?pY|X?????p1?p??0?（1）求信道容量和最佳输入分布的一般表达式；
（2）当p?0和p?12时，信道容量分别为多少？并针对计算结果作一些说明。
解：(1)
?P(bj?13jai)?j??P(bjai)logP(bjai) (i?1,2,3)
j?13?1?0???(1?P)?2?P?3?(1?P)log(1?P)?PlogP ?P??(1?P)??PlogP?(1?P)log(1?P)3?2解方程组得
?1?0? ?
????(1?P)log(1?P)?PlogP3?2 所以 C=log?2?
j(1?P)log(1?P)?PlogP? =log?1?2?2??
=log?1?2?1???(1?P)log(1?P)?Plogp?? ?1?H(p)? =log?1?2?? 1?Pp? =log?1?2(1?P)?P??
P(b1)?2?1?c?2?c?11?
1?2(1?P)1?P??P1?21?H(P) P(b2)?2
?2?c(1?P)P?PP? 1?2(1?P)1?P?PPP(b3)?2?3?c?P(b2)
而
P(bj)??P(ai)P(bjai) (j=1,2,3)
i?13P(b1)?P(a1)??得 ?P(b2)?P(a2)(1?P)?P(a3)P
?P(b)?P(a)P?P(a)(1?P)23?3解得
P(a1)?P(b1)?1 1?PP1?2(1?P)?P(1?P)1?P?PP P(a2)?P(a3)?P(b2)?P(b3)?1?PP1?2(1?P)?P 当P=0,此信道为一一对应信道，得
C?log3，P(a1)?P(a2)?P(a3)?1 3411当P?1时，C?log2，P?a1??，P(a2)?P(a3)?
223.14设两个DMC的转移矩阵分别为
b1b2b1b2b3?0.90.1?a1 ?0.60.30.1?a1 ???(1)?P?(2)P??Y|X??0.10.9?a?Y|X??0.30.10.6?a??2??2求2次扩展信道的转移矩阵。
解：(1)
?0.81?0.09?P???2??YZ2???0.09??0.010.090.810.010.090.090.010.810.090.01?0.09?? 0.09??0.81? (2)
?0.36??P???0.183Y??Z3???0.18??0.090.180.060.090.030.060.360.030.180.180.090.060.030.090.030.030.010.030.180.010.060.060.030.360.180.030.010.180.060.01?0.06?? 0.06??0.36?4.1设DMS的概率空间为
?U??u1u2u3u4??P???12141818?
??U??对其单个符号进行二进制编码，即码元集合为X?{0,1}。
定义编码f为
f2(u1)?w1?0,l1?1f2(u2)?w2?10,l2?2f2(u3)?w3?110,l3?3
f2(u4)?w4?111,l4?4试计算（1）该信源的熵H(U)；（2）由码字构成的新信源W的熵H(W)；（3）由码元{0,1}构成的新信源X的熵H(X)；（4）信息率R；（5）编码效率?c；（6）码的冗余度?c
解：
11111111log-log-log-log=1.75bits/symbol 22448888（2）H(W)=H(U)=1.75bits/symbol
1111112（3）p(0)??1??????0?
24283831111211p(1)??0??????1?
242838312H(X)=H(,)=0.9183bits/symbol
331111（4）l?1??2??3??3??1.75bits/码字
2488H(U)1.75R===1bit/码元
l1.75H(U)1.75==100% （5）hc=llog21.75′1（6）?c?1??c?1?1?0
（1）H(U)=-4.7设DMS为
u2u3u4u5u6??U??u1??P??0.370.250.180.100.070.03?
??U??用二元符号表X?{x1?0,x2?1}对其进行定长编码。
（1）求无失真定长编码的最小码长和编码效率；
（2）将编码器输出视为新信源X，求H(X)；
（3）若所编的码为{000,001,010,011,100,101}，求编码器输出码元的一维概率分布
P(x1)和P(x2)；
（4）H(X)?H[P(x1),P(x2)]吗？为什么？ 解：（1）
111111?0.25log?0.18log?0.1log?0.07log?0.03log0.370.250.180.10.070.03 ?0.37?1.43?0.25?2?0.18?2.47?0.1?3.32?0.07?3.83?0.03?5.06 ?0.53?0.54?0.44?0.33?0.27?0.15 ?2.22bit/符号 L?H(U)
取 L?3,r?2 H(U)?0.37log?c?H(u)2.22??74% llogr3 (2) 无失真编码是保熵编码 H(W)?H(U)?2.22bit/码 因为L?3, 所以 H(Z)?2.22?74 0.74bit/符号 3（3）W?{000,001,010,011,100,101}
设平均每个码字所含码元“0”和“1”的个数为l(0),l(1)
??l?l?l(0)?3?2.24?0.762.22?0.753 0.76P(x2?0)??0.253H(0.75,0.25)?0.75?0.41?0.25?2?0.81bit/码元P(x1?0)?（4）H(Z)?H[P(x1),P(x2)] 前者为算术平均，后者为统计平均
??
4.14信源同题4.5.4，进行二进制费诺编码，求平均码长和编码效率，并分析编码的冗余压缩效果。 信源符号 u1 u2 u3 u4 u5 u6 概率 0.25 0.25 0.2 0.15 0.1 0.05 0 0 1 0 1 1 码字 码长 00 2 01 2 10 2 0 110 3 0 1110 4 1 1 1111 4 l?0.25?2?0.25?2?0.2?2?0.15?3?0.10?4?0.05?4?2.45比特/符号
H(U)2.4232????98.91%
llogr2.45?1