物理与电子电气工程学院
淮阴师范学院
（信息论与编码实验报告）
姓名：董宝坤
学号：171313199 专业：电子信息工程 班级：1305
指导老师：宋毅
1
物理与电子电气工程学院
实验一、绘制二进制熵函数曲线
一、实验目的
1．掌握二进制符号熵的计算； 2．掌握MATLAB的应用；
3．掌握Matlab绘图函数；
4．掌握、理解熵函数表达式及其性质
二、实验条件
计算机一台，MATLAB仿真软件。 三、实验内容
（1）MATLAB的应用（请参阅相关书籍）
（2）打开MATLAB，在命令窗口中输入eidt，弹出编辑窗口，如图1：
图1 MATLAB的编辑窗口
（3）输入源程序：
clear;
x=0.001:0.001:0.999
y=-x.*log2(x)-(1-x).*log2(1-x); plot(x,y); grid on
（4）保存文件为entropy.m；
（5）单击Debug菜单下的Run，或直接按F5执行；
2
物理与电子电气工程学院
（6）执行后的结果图2：
四、实验结果及分析
x=0.001:0.001:0.999
y=-x.*log2(x)-(1-x).*log2(1-x); plot(x,y);
title('ì?oˉêyH(p)'); Xlabel('p');ylabel('H(p)'); gridon
熵函数H(p)10.90.80.70.6H(p)0.50.40.30.20.1000.10.20.30.40.5p0.60.70.80.91
分析：
⑴.意义：信源熵为信源的平均不确定度性，而概率的大小决定了信息量的大小。由图上可知概率为1时，信息量最小，不确定性最低；概率等于时熵最大。
⑵.可以看出，即p=1或者p=0，则该信源不提供任何信息；反之当二元信源符号0和1以等概率发生的时候，信源熵达到极大值，等于1bit信息量。 ⑶.步长为0.001
x=0.001:0.01:0.999
y=-x.*log2(x)-(1-x).*log2(1-x); plot(x,y);
3
物理与电子电气工程学院
title('ì?oˉêyH(p)'); Xlabel('p');ylabel('H(p)'); gridon
熵函数H(p)10.90.80.70.6H(p)0.50.40.30.20.1000.10.20.30.40.5p0.60.70.80.91
分析：
（1）熵函数是一个严格上凸函数
（2）熵的极大值，二进符号的熵在p(x1)=p(x2)=0.5取得极大值
（3）调调整p(x1)的取值步长，重画该曲线。当步长改变为0.01，步长变大的时候，可以看出是一段一段的连接的，当步长较大的时候，非常明显。如果开始点是0的时候，则从步长的长度开始计算。
4
物理与电子电气工程学院
实验二、一般信道容量计算
一、实验目的
1．熟悉工作环境及Matlab软件 2．理解平均互信息量表达式及其性质 3．理解信道容量的含义 二、实验条件
计算机一台，MATLAB仿真软件。
三、实验原理
1.平均互信息量(I(X;Y))是统计平均意义下的先验不确定性与后验不确定性之差，是互信息量的统计平均:
I(X;Y)??p(yj)I(X;yj)??p(yj)p(xi/yj)logji,jp(xi/yj)p(xi)??p(xiyj)logi,jp(xi/yj)p(xi) I?X;Y??H?X??H?X/Y?I?Y;X??H?Y??H?Y/X?
2.离散信道的数学模型
离散信道的数学模型一般如图1所示。图中输入和输出信号用随机矢量表示，输入信号为X= (X1, X2,…, XN)，输出信号为Y= (Y1, Y2,…, YN)；每个随机变量Xi和Yi又分别取值于符号集A={a1, a2, …, ar}和B={b1, b2, …, bs}，其中r不一定等于s；条件概率P(y|x) 描述了输入信号和输出信号之间的统计依赖关系，反映了信道的统计特性。
X 信道 Y X?(X1,X2,...,XN)P(y|x)Y?(Y1,Y2,...,YN)
?P(y|x)?1
图1离散信道模型
二元对称信道
这是很重要的一种特殊信道（简记为BSC），。它的输入符号X取值于{0,1}，
5