实验一 绘制二进熵函数曲线(2个学时)
一、实验目的:
1. 掌握Excel的数据填充、公式运算和图表制作 2. 掌握Matlab绘图函数
3. 掌握、理解熵函数表达式及其性质 二、实验要求:
1. 提前预习实验,认真阅读实验原理以及相应的参考书。 2. 在实验报告中给出二进制熵函数曲线图 三、实验原理:
1. Excel的图表功能 2. 信源熵的概念及性质
?X??x1?0x2?1?? , 0?p?1?P(X)???p1?p????H(X)???p(xi)logp(xi) ???plogp??1?p?log?1?p?? ?H(p)a. H(X)?lognb. H??P??1???Q???H(P)??1???H(Q)i
单位为 比特/符号 或 比特/符号序列。
当某一符号xi的概率p(xi)为零时,p(xi)log p(xi) 在熵公式中无意义,为此规定这时的 p(xi)log p(xi) 也为零。当信源X中只含有一个符号x时,必有p(x)=1,此时信源熵H(X)为零。 四、实验内容:
用Excel和Matlab软件制作二进熵函数曲线。根据曲线说明信源熵的物理意义。 (一) Excel
具体步骤如下: 1、启动Excel应用程序。
2、准备一组数据p。在Excel的一个工作表的A列(或其它列)输入一组p,取步长为0.01,从0至100产生101个p(利用Excel填充功能)。
3、取定对数底c,在B列计算H(x) ,注意对p=0与p=1两处,在B列对应位置直接输入0。Excel中提供了三种对数函数LN(x),LOG10(x)和LOG(x,c),其中LN(x)是求自然对数,LOG10(x)是求以10为底的对数,LOG(x,c)表示求对数。选用c=2,则应用函数LOG(x,2)。
在单元格B2中输入公式:=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2) 双击B2的填充柄,即可完成H(p)的计算。
4、使用Excel的图表向导,图表类型选“XY散点图”,子图表类型选“无数据点平滑散点图”,数据区域用计算出的H(p)数据所在列范围,即$B$1:$B$101。在“系列”中输入X值(即p值)范围,即$A$1:$A$101。在X轴输入标题概率,在Y轴输入标题信源熵。
(二)用matlab软件绘制二源信源熵函数曲线 p = 0.0001:0.0001:0.9999;
h = -p.*log2(p)-(1-p).*log2(1-p); plot(p,h) 五、实验结果
二元信源熵函数
信源熵为信息的不确定度,概率的大小反映了信息量的大小,如果二元信源的输出符号是确定的,即p=1,则该信源不提供任何信息,当二元信源符号0和1以等概率发生时,信源熵达到极大值,等于1bit信息量。
实验二:验证二元离散对称信道的互信息的性质(4学时)
(课后做)
一、实验目的
1掌握离散对称信道互信息的计算及性质特点。
2练习应用matlab软件进行互信息的函数曲线的绘制,并从曲线上理解其物理意义。
二、参看定理4.2.1及4.2.2 三、实验内容
1验证固定信道,I(X;Y)是信源分布的上凸函数; 2验证固定信源,I(X;Y)是信道传递概率的下凸函数; 3 I(X;Y)的三维分布绘制(自行学习三维图形的绘制函数)
四、实验结果
(1)
I(X;Y)是信源分布的上凸函数
(2)
I(X;Y)是信道传递概率的下凸函数
(3)
I(X;Y)的三维分布绘制