轾0.20.30.30.150.040.0090.0009犏犏0.00010.00090.0090.040.150.30.3臌3.3DMC的转移矩阵如下
0.00010.2
?0.60.30.1???P??Y|X??0.30.10.6?
??（1）画出信道线图； （2）若输入概率为?PX???0.5（1）
a10.10.30.60.30.10.5?，求联合概率、输出概率以及后验概率。
b1b2a2b30.6
（2）P(a1)乘以[PY|X]的第1行，P(a2)乘以[PY|X]的第2行，得联合概率矩阵[PXY]：
?0.30.150.05?[PXY]?? ??0.150.050.3?[PXY]的各列元素相加得对应的输出概率，写成矩阵形式： [PY]??0.450.200.35?
[PXY]的各列元素除以对应的输出概率，得后验概率矩阵：
?2/33/41/7?[PX|Y]?? ??1/31/46/7?
3.4 信道的疑义度、散布度和平均互信息
3.4设离散无记忆信源X通过离散无记忆信道X,PY|X,Y传送信息，设信源的概率分布和信道的线图分别为
??a10.20.10.8b1 ??X??a1a2?a2 ?????P??0.60.4?0.9b2
试求：
（1）信源X的符号a1和a2分别含有的自信息；
（2）从输出符号bj(j?1,2)所获得的关于输入符号ai(i?1,2)的信息量； （3）信源X和信道输出Y的熵； （4）信道损失熵H(X|Y)和噪声熵H(Y|X)； （5）从信道输出Y中获得的平均互信息量。 解：
(1) I(a1)?log10.6?0.7370 bit/符号
I(a2)?log1 (1) ?P0.4?1.3220 bit/符号
Z?????PZ??PY?0.8=?0.60.4???0.1?Y? ?0.2???0.520.48? ?0.9?I(a1;b1)?I(b1)?I(b2b1)
=0.9434?0.3219?0.6215 bit/符号
I(a1;b2)?I(b2)?I(b2b1)
=1.0589?2.3220??1.2631 bit/符号 I(a2;b1)?I(b1)?I(b1a2)
=0.9434?3.322??2.3786 bit/符号
I(a2;b2)?I(b2)?I(b2a2)
=1.0589?0.1520?0.9609 bit/符号
(2) H(Z)?0.6?0.7370?0.4?1.3220?0.971 bit/符号
H(Y)?0.52?0.9434?0.48?1.0589?0.9988 bit/符号
(3)、(4)
H(Ya1)?H(0.8,0.2)?0.8?0.3219?0.2?2.3220?0.7219 bit/符号 H(Ya2)?H(0.1,0.9)?0.1?3.322?0.9?0.152?0.469 bit/符号
H(Yz)?0.6?0.7219?0.4?0.469?0.6207 bit/符号 I(z;Y)?H(Y)?H(Yz)?0.9988?0.6207?0.3781 bit/符号
又根据 IZ;Y?H(Z)?H(ZY) ?H(ZY)?H(Z)?I(Z;Y)
?? =0.971?0.3781?0.5929 bit/符号
3.5设有一批电阻，按阻值分：70%是2k?，30%是5k?；按功率分：64%是1/8W，其余是1/4W。现已知2k?阻值的电阻中80%是1/8W。问通过测量阻值可以平均得到的
关于瓦数的信息量是多少？
解：设阻值信源为Z，
1??Z??2k?5k???0?P???0.70.3???0.70.3?
????Z??
设功率信源为Y
?Y??1W????8??PY????0.64a111154151W??01?4???0.640.36?
?0.36???0.8b1
a20.9b2
1W1W0.08?0.56?88 共70% 5K?? 2K???0.141W?0.221W44 H(Ya1)?H(0.8,0.2)?0.7219 bit/符号
4114151115H(Ya2)?H(,)?log?log15151541511411=?1.9069??0.4475 1515 =0.5085?0.3282?0.8367 bit/符号
H(YZ)?0.7?0.7219?0.3?0.8367?0.7563 bit/符号 H(Y)?0.64?0.6439?0.36?1.474?0.9427 bit/符号
?I(Z;Y)?H(Y)?H(YZ)?0.9427?0.7563
=0.1864 bit/符号
3.7求下列两个信道的信道容量和最佳输入分布，并加以比较。其中p?p?1。
?p??(1)??p??p??p??2???p?? (2)?2????p??p??p??2?00? 2???解：(1)方法一：从信道矩阵(1)可知，其行中各元素相等，但各列元素不同，因此不是
对称信道。正因为各行元素相等，所以我们假设输入分布为等概率分布，即
P(a1)?P(a2)?1 2在输入等概率分布下，计算得
1?P(b)??12(1?2?)?1?P(b)?(1?2?) 满足P(b1)?P(b2)?P(b3)?1 ?22??P(b3)?2???
然后计算
I(x?a1;Y)=
?P(bj|a1)logj?13P(bj|a1)P(bj)
???p??p??2???(p??)log?2?log? =?(p??)log112???(1?2?)(1?2?)?22?2 =(1?2?)log?(p??)log(p??)?(p??)log(p??)
1?2?3P(bj|a2)又I(x?a2;Y)=?P(bj|a2)log
P(bj)j?1???p??p??2???(p??)log?2?log? =?(p??)log112???(1?2?)(1?2?)?22? =(1?2?)log2?(p??)log(p??)?(p??)log(p??) 1?2?可见I(x?a1;Y)?I(x?a2;Y)，当P(ai)?0 i?1,2时。 所以，根据信道容量解的充要性（参考书[1]中）定理3.3得 I(X;Y)?C 故 C?(1?2?)log2?(p??)log(p??)?(p??)log(p??) 1?2?假设的输入分布就是最佳的输入分布。 方法二：
此信道是准对称信道。信道矩阵中Y可划分为二个互不相交的子集，由于集列所组成的矩阵
??p???p??,,p????2??，?? ?p????2??2而这两个子矩阵满足对称性，因此，可直接利用准对称信道的信道容量公式进行计算。
?p2?p3?)? C1?logr?H(p1?Nk?1klogMk
其中r?2，N1?M1?1?2?，N2?2?，M2?4?，所以
C1=log2?H(p??,p??,2?)?(1?2?)log(1?2?)?2?log4?
=log2?(p??)log(p??)?(p??)log(p??)?
2?log2??(1?2?)log(1?2?)?2?log4?
=log2?2?log2?(1?2?)log(1?2?)?(p??)log(p??)? (p??)log(p??)
=(1?2?)log2?(p??)log(p??)?(p??)log(p??) 1?2?输入等概率分布时达到信道容量。
（2）此信道也是准对称信道，也可采用上述两种方法之一来进行计算。现采用准对称信道的信道容量公式进行计算。此信道矩阵中Y可划分成两个互不相交的子集，由子集列所组成的矩阵为
?p?? ??p??这两矩阵为对称矩阵。
,,p????2?，?p?????00? 2???其中 r?2 N1?M1?1?2? N2?M2?2? 所以 C=logr?H(p??,p??,2?,0)??Nk?12klogMk
=log2?(p??)log(p??)?(p??)log(p??)?
2?log2??(1?2?)log(1?2?)?2?log2?
=log2?(1?2?)log(1?2?)?(p??)log(p??)?(p??)log(p??) =(1?2?)2?2?log2?(p??)log(p??)?(p??)log(p??) 1?2? =C1?2?log2 输入等概率分布（P(a1)?P(a2)?1）时达到此信道容量。比较此两信道容量，可得 2 C2?C1?2?log2
3.8 求下列二个信道的信道容量及其最佳的输入概率分布。
a11616131613b1b2b3b4a10.020.020.98b1
解：图3.8中两信道的信道矩阵为
a2131613a20.98b2
?1?3 P1???1??6161313161?6?? 1?3?? 其满足对称性，所以这两信道是对称离散信道。由对称离散信道的信道容量公式得 C1?log4?H?111??1,,,??0.0817 比特/符号 636??3