智能传感器实验--BP神经网络(2)

2019-02-15 11:39

根据三维(P、T、I)标定实验数据,按最小二乘法原理,可求得均方误差最小条件下的A0~A9.已知后,测量时,由三个传感器的输出值U、UT、UI值代入式(1-6)中就可计算出被测目标参量压力的值P,其值是消除了干扰量温度T、电流变化的影响的,故是更接近实际压力值P 的更为准确的值。

1.2.4 BP神经网络

BP 神经网络是由于其权值和阈值采用反向传播(Back Propagation)的学习算法而得名。BP 神经网络一般采用三层(输入层、隐层、输出层)网络结构,如图1-5所示。网络中隐层节点和输出节点(神经元)的输入为前一层网络输出的加权和,例如:

BP神经网络是由于其权值采用反向传播(Back Propagation)的学习算法而得名。Rumelhart、McClelland和他们的同事于1982年成立了一个PDP小组,研究并行分布信息处理方法,探索人类认知的微结构,经过3年的努力,于1985年发展了BP神经网络学习算法。BP网络也是一种多层前馈神经网络,其神经元的变换函数是S型函数,因此其输出量为0到1之间的连续量,它可以实现从输入到输出的任意的非线性映射。在确定了BP网络的结构后,利用输入输出样本集对其进行训练,也即对网络的权值和偏置值(bias)进行学习和调整,以使网络实现给定的输入输出映射关系。经过训练的BP网络,对于不是样本集中的输入,也能给出合适的输出,这种性质称为泛化(generalization)功能,因此,BP神经网络具有拉格朗日(Lagrange)插值法、牛顿(Newton)插值法等类似

6

的插值功能,只是拉格朗日(Lagrange)插值法和牛顿插(Newton)值只能用于二维空间的曲线插值,而BP神经网络可实现多维空间的曲面插值。

(1) BP神经网络的神经元模型

BP神经网络一般由多层神经元构成,因此它的神经元可以有多种类型,其神经元的选用需要示具体情况而定。由于BP神经网络是通过误差反向传播来实现的,因此,BP神经网络中的神经元必须是连续可微的,所以,BP神经网络的神经元函数不能选用限幅函数。对于输出范围比较小的网络,可以将其所有的神经元全部选为S型函数,若网络的输出范围比较大,则一般把隐含层神经元选为S型函数,而把输出层神经元选用纯线性函数,从理论上讲,这样选择神经元函数可以任意精度地逼近任意的一个平滑函数。

(2) BP网络结构

BP神经通常有一个或多个隐层。在实际应用中,用得最多的还数三层BP神经网络。如图7-6,是三层BP神经网络的网络模型。网络的输入层包含i个节点,隐层包含j个节点,输出层有k个节点。连接权值w(j, i)表示输入层第i个节点与隐层的第j个节点的连接权值。v(k, j)表示隐层第j个节点与输出层第k个节点的连接权值。

(a)神经

(b) 网

图7-7 BP神经网络

(3) BP神经网络的学习算法 1) 初始化

从BP神经网络的网络结构和神经元的函数可知,BP神经网络本身含有待定的参数,即连接权值和神经元的偏置值(bias),这些参数一般不能象求解方程组一样直接求得,只能亦步亦趋地逐步逼近。BP神经网络的学习过程实质上就是对网络参数的调节过程,使得网络的参数一步一步地从远离最佳点的位置走向最佳位置点。因此,在进行参数调节之前,网络的参数必须有一个初始值,对网络参数的初始值的确定,就是网络的初始化。

BP神经网络参数的初始化在网络的训练中非常重要,如果参数的初始值不合适,网络可能不收敛,或是收敛速度比较慢。通过多方的验证发现,网络的权值随机地在[-1,1]范围内取初始值,而偏置值(bias)在[-3,3]内,网络的收敛速度较快。

7

2) 训练

BP神经网络的训练是通过误差反向传播来实现的,所有参数都是根据总误差对其本身的一阶偏微分来修正的,因此,在网络正式进行训练前,首先要确定总误差对每一参数的偏微分的数学表达式。一般地,神经网络的总误差取为:

E?1[y(k)?d(k)]2?2k (7.10)

式中E为某一次训练的总误差,y(k)为网络输出层第k个神经元的实际输出,d(k)为对应于y(k)的期望输出。网络的训练,也就是调整网络的参数,使得E足够小。若网络的神经元函数全部选为对数S型函数,那么网络参数的修正数学表达式的求取如下:

? 求总误差对输出层神经元的输入和的偏微分

(7.11)

式中pk为输出层第k个神经元的总输入。相应地,总误差对输出层神经元的偏置值(bias)的偏微分为

?yk?E?k??[yk?dk]?[yk?dk]yk[yk?1]?pk?pk?yk?E??k??[yk?dk]?[yk?dk]yk[1?yk]??k??k? 求总误差对输出层神经元与隐含层神经元的连接权值的偏微分

(7.12)

?vk,j?pk?EE?????koj?vk,j?pk?vk,j (7.13)

式中Oj为隐含层第j个神经元的实际输出。 相应地,总误差对隐含层的输出的偏微分为:

?oj??EE?pk????kvk,j?oj?pk?oj (7.14)

? 求总误差对隐含层神经元的输入和的偏微分

?EE?oj?j????oj[oj?1]??kvk,j?qj?oj?qjk式中qj为隐含层第j个神经元的总输入。

(7.15)

相应地,总误差对隐含层神经元的偏置值(bias)的偏微分为

??j??EE?oj???oj[1?oj]??kvk,j??j?oj??jk (7.16)

? 求总误差对输入层与隐含层的连接权值的偏微分

?wj,i

?oj?EE????xi?j?wj,i?oj?wj,i8

(7.17)

于是得到网络的参数的修正公式为:

vk,j(t)?vk,j(t?1)???vk,j(t?1) (7.18)

?k(t)??k(t?1)????(t?1) (7.19)

wj,i(t)?wj,i(t?1)???wj,i(t?1)?j(t)??j(t?1)????(t?1)这里η为学习步长。

从上述算法的推导可知,标准的BP算法是一种最速下降静态寻优算法,其参数的修正只按t时刻的负梯度方式进行修正,而没有考虑以前的积累经验,从使得标准的BP算法存在如下的3个主要缺点:

1)收敛速度慢; 2)局部极值;

3)难以确定隐层和隐层节点的个数。

为了克服这些缺点,从事神经网络研究的科学工作者在标准BP算法上作了改进,在对网络参数进行修正时,把以前的学习经验也考虑进去。例如,权值wji的修正公式改为下式:

(7.20)

(7.21)

wji(t)?wji(t?1)??[(1??)?wji(t?1)???wji(t?2)]这里α为学习率,λ为动量因子,且0≤λ≤1。

(7.22)

这种算法后来被称之为动量法。动量法减小了学习过程的振荡趋势,降低了网络对于误差曲面局部细节的敏感性,能有效地抑制网络陷于局部最小,从而改善了收敛性。

在Matlab环境中,可以用newff函数来创建一个BP神经网络。 §7.2.1.3 径向基函数(RBF)网络

网络的函数逼近角度来说,神经网络可分为全局逼近神经网络和局部逼近神经网络。前面谈到的BP神经网络由于对每个输入输出数据对,网络的每一个权值均需要调整,因此是全局逼近网络。RBF神经网络对于每个输入输出对,只有少量的权值需要进行调整,所以是局部逼近神经网络。也正因为RBF网络的局部逼近特性,使得它在逼近能力、分类能力和学习速度等方面均优于BP网络。

(1) RBF神经网络模型

RBF神经网络的神经元相应函数采用高斯型函数,其神经元模型如图7-8。它同前面所谈到的神经元有所不同,前面谈到的感知器神经元和BP网络的神经元的总输入是对各输入和偏置值(bias)进行加权求和得到,即

x(k)??xi(k)i。

而如图7-8所示的RBF网络的神经元的总输入是权值矩阵的行向量与输入向量的

9

向量距与偏置值(bias)的乘积,其数学表达式为:

ni?bi2(w?p)?ijjij (7.23)

式中ni为网络隐层第i个神经元的总输入,bi为第i个神经元的偏置值(bias),wij为隐层权值矩阵的第i个行向量的第j个元素,pji是第j个输入向量的i时刻输入值。

RBF神经网络模型同BP网络类似,通常其输出层是纯线性神经元,只是其隐层神经元是称之为radbas型的神经元。RBF神经网络模型如图7-9。

图基神经

(2) RBF神经网络的的训练

由高斯函数的函数表达式可知,其输出最大值为1,当输入向量与权值向量的向量矩减小时,神经元的输出增大。偏置b用来调节高斯函数对输入的灵敏度, b的绝对值越大,神经元对输入越灵敏,也就是说,神经元的响应函数曲线越“宽”。对应于图7-5,也就是函数的输出为0.5时的两个总输入之差的绝对值越大。对于b的取值,一般由训练样本的样本距和样本的范围决定,b的取值大于两个相邻样本点的最大距离,而小于任意两个样本的最大距离。例如,对于一个单输入单输出的RBF神经网络,输入的样本为{-6,-4,0,2,4,7},那么b的取值应大于4而小于13。

RBF神经网络中,其隐层神经元的数量可以说是由样本点的数量来决定,有多少个输入样本点,就有多少个隐层神经元。对于每个隐层神经元的输入,其输出满足下列条件:

1)若是其对应的样本点,我们也称其为该神经元的特征输入点,那么其对应的输出应趋于1;

2)对于非样本点输入,输入与特征输入的点距离越远,则神经元的输出越小。

10

7-9 径向网络模型


智能传感器实验--BP神经网络(2).doc 将本文的Word文档下载到电脑 下载失败或者文档不完整,请联系客服人员解决!

下一篇:大学生如何端正入党动机发言稿

相关阅读
本类排行
× 注册会员免费下载(下载后可以自由复制和排版)

马上注册会员

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信: QQ: