物理与电子电气工程学院
输出符号Y取值于{0,1}，r=s=2， a1=b1=0，a2=b2=1，传递概率为
P(b1|a1)?P(0|0)?1?p?p, P(b2|a2)?P(1|1)?1?p?p
P(b1|a2)?P(0|1)?p, P(b2|a1)?P(1|0)?p
其中，P(1|0)表示信道输入符号为0而接收到的符号为1的概率，P(0|1)表示信道输入符号为1而接受到的符号为0的概率，它们都是单个符号传输发生错误的概率，通常用p表示。而P(0|0)和P(1|1)是无错误传输的概率，通常用
1?p?p表示。
X 1-p Y
a1?00?b1
p
p
a2?11?b2 二元对称信道
用矩阵来表示，即得二元对称信道的传递矩阵为
010?1?pp?1?p?1?? ?p依此类推，一般离散单符号信道的传递概率可用以下形式的矩阵来表示，即
b1 b2 … bs
a1a2?ars?P(b1|a1)P(b2|a1)?P(b|a)P(b|a)22?12?????P(b1|ar)P(b2|ar)?P(bs|a1)??P(bs|a2)???????P(bs|ar)?
并满足式
P(bj|ai)?1（i?j?1?1,2,?,r）。
为了表述简便，记P(bj|ai)?pij，信道的传递矩阵表示为
6
物理与电子电气工程学院
?p11?pP??21????pr1p12p22?pr1p1s??p2s???????prs? ?而且满足
?i是行的标号 pij?0??j是列的标号平均互信息
平均互信息表示接收到输出符号后平均每个符号获得的关于输入变量X的信息量，也表示输入与输出两个随机变量之间的统计约束程度。
I(X;Y)??????P(x)logP(x)??P(xy)logP(x|y)XXY11?XYP(xy)logP(xy)log1?P(x)?XYP(xy)log1P(x|y)
?XYXYP(x|y)P(x)P(xy)
?P(xy)logP(x)P(y)?XYP(xy)log
其中X是输入随机变量，Y是输出随机变量。
平均互信息是互信息（即接收到输出符号y后输入符号x获得的信息量）的统计平均值，所以永远不会取负值。最差情况是平均互信息为零，也就是在信道输出端接收到输出符号Y后不获得任何关于输入符号X的信息量。
对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我们把这个最大值称为该信道的信道容量。
P(y|x)P(y)C?max{I(X;Y)}P(x)
相应的输入概率分布称为最佳输入分布。 四、实验内容
1．绘制平均互信息量图形
?X??0,1?对于二元对称信道的输入概率空间为? ?????P(x)???,??1???平均互信息：
7
物理与电子电气工程学院
I(X;Y)?H(Y)?H(Y/X)?H(Y)??P(x)?P(y/x)logXY1P(y/x)?H(Y)??P(x)[plogX11?plog]pp?H(Y)?[plogr11?plog]?H(Y)?H(p)pp
根据：P(bj)??P(ai)P(bj|ai)?1
i?1所以：
P(y?0)??P(ai)P(0|ai)?P(0)P(0|0)?P(1)P(0|1)??p??p
i?122P(y?1)??P(ai)P(0|ai)?P(0)P(1|0)?P(1)P(1|1)??p??pi?1
I(X;Y)?H(Y)?H(p)?(?p??p)log?H(?p??p)?H(p)1111?(?p??p)log?[plog?plog]?p??p(?p??p)pp请绘制当
?,p从0到1之间变化时的平均互信息熵曲线
2. 信道容量图形
一个信道是一个二进制输入，二进制输出的信道，输入和输出字母表
X?Y?{0,1}，且该信道特性由发送1码和0码的两个错误转移概率P(0|1)?e和P(0|1)?0来表征。绘出当e?0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1时的平均互信息I(X;Y)和p?P(X?1)间的函数关系。确定每种情况下的信道容量。 五、实验结果及分析
clear; w=0.5;
p=0.001:0.001:0.999;
y=-(w.*(1-p)+(1-w).*p).*log(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*l
8
物理与电子电气工程学院
og(w.*p+(1-w).*(1-p))+p.*log(p)+(1-p).*log(1-p); plot(p,y);
title('二进制信道的信道容量'); Xlabel('p');ylabel('I(W;Y)'); gridon
二进制信道的信道容量0.70.60.50.4I(W;Y)0.30.20.1000.10.20.30.40.5p0.60.70.80.91
当BSC信道，C=1-H（w），当w=0时，错误概率为0，无差错，信道容量达到最大，每符号1bit，输入端的信息全部传输至输出端；当w=1/2时，错误概率与正确概率相同，从输出端得不到关于输入端的任何信息，互信息为0，在信道接收端平均每个符号才获得最小的信息量，即信道容量为0；
clear; p=0.1;
w=0.001:0.001:0.999;
y=-(w.*(1-p)+(1-w).*p).*log(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*log(w.*p+(1-w).*(1-p))+p.*log(p)+(1-p).*log(1-p); plot(w,y);
title('二进制信道的信道容量'); Xlabel('w');ylabel('I(W;Y)'); gridon
9
物理与电子电气工程学院
二进制信道的信道容量0.40.350.30.25I(W;Y)0.20.150.10.05000.10.20.30.40.5w0.60.70.80.91clear;
[w,p]=meshgrid(0.00001:0.001:1);
y=-(w.*(1-p)+(1-w).*p).*log(w.*(1-p)+(1-w).*p)-(w.*p+(1-w).*(1-p)).*log(w.*p+(1-w).*(1-p))+p.*log(p)+(1-p).*log(1-p); meshz(w,p,y);
title('二进制信道的信道容量');
Xlabel('w');ylabel('p');zlabel('I(W;Y)'); gridon
当固定信道时，只有当输入变量是等概率分布，即p(x=0)=p(x=1)=在信道接收端平均每个符号才获得最大的信息量，即等于1.
10