H(X/Y)?0，所以有H(Y)?H(X)?H(Y/X)
3.14 试求以下各信道矩阵代表的信道的容量：
b1a1?0 ?(1)?P??a2?1 1a3?0 ?a4?0 b20001b3 1 0 0 0b4 0? 0?? 1?? 0? b1a1?1 a2?1 ?(2)?P??a3?0 ?2a4?0 a5?0 ?a6??0 b2b30 0?00??10?
?10?01??01?? b7 b8 b9 b100000? 0000??0.40.20.10.3??
b1 b2 b3 b4 b5 b6a1?0.10.20.30.400(3)?P??a?00000.30.732?a3?00000?0解：2比特/信道符号，1.585比特/信道符号，1.585比特/信道符号
3.15 3.16 3.17 3.18
设加性高斯白噪声信道中，信道带宽3kHz，又设{(信号功率+噪声功率)/ 噪声功率}=10dB。试计算该信道的最大信息传输速率Ct。 提示：x的dB 数:10log10x。
PP解: 由题意, 10?10log2(1?X),?(1?X)?10,故Ct=9.96kbit/s。
PNPN略 略
此题很简单，略。
参见教材相关问题的证明过程。 见教材证明。
3.19 3.20
11
第四章习题
4.1 一个四元对称信源??0?1真矩阵为D???1??1101134123??X??0??，接收符号Y?{0,1,2,3}，其失??PX?????1/41/41/41/4?11011?1??求Dmax和Dmin及信源的R?D?函数，并画出其曲线(取41??0?D?(1?D)ln(1?D)奈特/符号， 3至5个点)。
解：Dmin?0,Dmax?,R(D)?ln4?Dln1113在R（D）中令D?0,,,,,可作图。
4324
4.2 若某无记忆信源?1??X???10?11???，接收符号Y???,?，其失真矩阵???22??P?X???1/31/31/3??12??求信源的最大失真度和最小平均失真度，11为D??并求选择何种信道可????21??达到该Dmax和Dmin的失真度。 解：Dminp(b1/a1)?1???1,对应的试验信道不是唯一的，但满足?p(b1/a2)?p(b2/a2)?1
?p(b2/a3)?1?Dmax?p(b1/ai)?p(b1)4??,对应的试验信道不是唯一的，但满足?p(b1)?p(b2)?1 3?p(b/a)?p(b)2?2i
4.3 某二元信源?1??X??0?????P?X???1/21/2? 其失真矩阵为D???求这信源的a0???0a?Dma,和?D?函数。 xDminR提示：见公式(4.2.41)。
DDmin?0,Dmzx?0.5?,R(D)?1?H()
?
4.4 已知信源X?{0,1}，信宿Y?{0,1,2}。设信源输入符号为等概率分布，而且失
12
真函数为D???0?1?，求信源的率失真函数R?D?。 ???01?解：R(D)?1?D奈特/符号。提示：注意参量S<0, 求 I(X;Y)?H(Y)?H(Y/X)?1?D
4.5 4.6 4.7 4.8 4.9
略， 略
参见教材p110. 略
设某地区的“晴天”概率p?晴??5/6，“雨天”概率p?雨??1/6，把“晴天”预报为“雨天”，把“雨天”预报为“晴天”造成的损失均为a元。又设该地区的天气预报系统把“晴天”预报为“晴天”，“雨天”预报为“雨天”的概率均为0.9；把“晴天”预报为“雨天”，把“雨天”预报为“晴天”的概率均为0.1。试计算这种预报系统的信息价值率v(元/比特)。
?晴雨?Dmax?D(R)Dj??，解：Dmax?min预报结果：， v??0.2119?(元/比特）??237jI(X;Y)?3030??晴雨??0.90.1??0??提示：天气信源：?51?，预报信道矩阵：?，失真矩阵： ???6??6?0.10.9???0?16
4.10 设离散无记忆信源?? X?? a1 a2 a3???? 其失真度为汉明失真度。 ??P(X)??1/31/31/3?(1) 求Dmin,R?Dmin?，并写出相应试验信道的信道矩阵； (2) 求Dmax,R?Dmax?，并写出相应试验信道的信道矩阵；
(3) 若允许平均失真度D?1/3，试问信源的每一个信源符号平均最少由几个
二进制码符号表示？
?100?? 010解：(1)Dmin?0,R(Dmin)?1.585比特/符号，相应的试验信道矩阵为?????001??2(2)Dmax?,R(Dmax)?0，相应的试验信道矩阵不唯一
3D(3)由教材例题可知R(D)?ln3?Dln?(1?D)ln(1?D)奈特/符号，
21R()?0.231奈特/符号?0.331比特/符号，因此每个信源符号最少要用30.331个二进制码表示。
4.11 见教材例题。
13
第五章习题
5.1 设有信源?a2a3a4a5a6a7??X??a1? ? ??P(X)0.20.190.180.170.150.10.01????(1) 求信源熵H(X)；
(2) 编二进制香农码；
(3) 计算其平均码长及编码效率。 解：(1) 2.609比特/信源符号
x2x3x4x5x6x7??x1(2) 码字：?? 00000101110010111101111110??(3) 平均码长3.14比特/符号，编码效率83.09%
5.2 对题5.1的信源编二进制费诺码，计算其编码效率。
x3x4x5x6x7??x1x2解：(1) 码字：??， 000100111011011101111??(2) 平均码长2.74比特/符号，编码效率95.22%
5.3
对题5.1的信源分别编二进制和三进制赫夫曼码，计算各自的平均码长及编码效率。
x4x5x6x7??x1x2x3解：二进制码码字：??， 101100000101001100111??平均码长2.72比特/符号，编码效率95.92%
三进制码码字：??x1x2x3x4x5x6x7??， 2000102101112??平均码长1.8比特/符号，编码效率91.45%
5.4 设信源
a?X???1????1P(X)????2a214a318a4116a5132a6a7a8??111?64128128??
(1) 计算信源熵；
(2) 编二进制香农码和二进制费诺码；
(3) 计算二进制香农码和费诺码的平均码长和编码效率； (4) 编三进制费诺码；
(5) 计算三进制费诺码的平均码长和编码效率。 解：(1) H(X)?1.984375(比特/符号) (2) 二元香农码：
14
信源符号 a1 a2 a3 a4 a5 概率 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/128 累加概率 ?log2p(ai) 0 1/2 3/4 7/8 15/16 31/32 63/64 127/128 1 2 3 4 5 6 7 7 ki 累加概率 小数表示 码字 0 10 110 1110 11110 111110 1111110 1111111 a6 a7 a8 1 2 3 4 5 6 7 7 0.0 0.10 0.110 0.1110 0.11110 0.111110 0.1111110 0.1111111 5/符号)，编码效率：?? (3) K?1.9843(7比特
H(X)?100%?100% K二元费诺码码字与香农码相同，顾二者平均码长和编码效率相同。
(4) 三元费诺码： 信源符号 概率 码字 a1 0 0 1/2 a2 1 1 1/4 a3 0 20 1/8 a4 1 21 1/16 a5 0 220 1/32 2 a6 1 221 1/64 2 a7 0 2220 1/128 2 a8 1 2221 1/128 25 (5) K?1.3281，(比特/符号)，编码效率：??H(X)?100%?94.27% Klog23 5.5 略
5.6 有二元平稳马氏链，已知p(00)?0.8，p(11)?0.7，求它的符号熵。用三个
符号合成一个来编二进制哈夫曼码，求新符号的平均码字长度和编码效率。（略）
5.7 对题5.6的信源进行游程编码。若“0”游程长度的截止值为16，“1”游程长度的截止值为8，求编码效率。（略）
15