基于BP神经网络的语音识别系统
4.1.3 神经网络的学习方式
人脑需要通过学习来获得知识；决定着神经网络性能优劣的神经元连接权值，也需要通过学习来获得。神经网络的学习是这样的一个过程，它通过环境的刺激作用不断调整网络权值，以适应神经网络能对外部条件作出正确反应的这一要求。首先设定初始值，一般为随机数值。然后根据神经网络输入样本进行学习，参照评价标准进行评判。若系统达到某种要求，则停止学习；否则按照给定的学习规则调整权值，使得输出趋向期望，继续进行学习直到达到要求。神经网络的学习方式包括有监督学习和无监督学习。
有监督学习的训练样本需要由输入样本和目标样本组成。在网络学习的过程中，根据神经网络的实际输出与目标样本的比较，调整神经元连接权值，使实际输出与目标期望相一致。神经网络使用样本迭代学习，通过调整权值逐步降低输出与期望间的误差，当误差小到符合要求或达到迭代最多次数时，停止学习。
无监督学习的神经网络没有目标样本进行指导，它学习评价标准隐含在网络内部。无监督的学习能自适应与输入空间，它通过迭代对输入样本进行观察，根据自身包含的评判标准，不断调整权值参数以反映样本的空间分布，即给输入样本在特定空间中划分活动区域，将样本映射到相应的区域。
4.2 BP神经网络基本模型
BP神经网络是一种多层前馈神经网络，采用误差反传算法(Back-Propagation Algorithm)。误差反传算法基于误差修正学习规则，使得神经网络内部隐含层的权值可以进行学习。BP神经网络是有监督学习的多层型网络。它的输入信息按层依次传播，最终得到输出信息；计算输出信息与期望信息间的误差，将误差反向传播并以此调整各层神经元连接权值。
4.2.1 BP神经网络结构分析
BP神经网络有三层或三层以上的神经元构成，分别称为输入层、隐含层和输出层，各层间的神经元实现全连接，如图4-3：
27
洛阳师范学院2012届本科生毕业设计
x1 y1 x2 ? y2 xn 图4-3 BP神经网络结构模型 ym
BP神经网络中的误差反传是其主要特点，它不仅使得输入输出层的连接权值可以进行调整，而且让隐含层连接权值根据误差与上层输出进行修改，即拥有了学习能力。在BP神经网络中，存在着两个方向上的信息流，即前向传播信息流和误差反传信息流。
前向传播信息流是输入信号从输入层经过隐含层，传递到输出层，最后产生输出信号的过程。而对于神经元来说，是由输入计算神经元的状态并产生相应输出的过程。具体地，输入层的输入是原始输入信号，它的输出将提供给第一层隐含层作为输入；隐含层的输入是上一层的输出；输出层的输入是最后一层隐含层的输出，它的输出是整个神经网络的计算结果。网络会计算最后输出与期望间的误差。如果误差不足够小，系统将进行误差反传。
误差反传信息流是误差从输出层反向传播回输出层的过程。误差衡量的是输出信息与期望间的距离远近。在误差反传过程中，连接权值根据误差值等一些参数来进行调整，使得调整后的BP网络的实际输出更接近期望输出。
4.2.2 BP神经网络学习规则
学习是人脑最重要的功能之一，同时兴奋的两个神经元之间的连接得到加强是大脑学习的基本机制。神经网络的学习规则描述了神经元连接权值的调整规则，即参考某些评价标准，衡量输入样本经过神经网络后的实际输出，并根据评价结果调整权值。BP神经网络学习规则的特点在于它采用了误差反传算法。
设BP神经网络中，第k层的第个神经元的输出为O接受输入后的内部状态为S连接权值为wk?1,kjikk；第k层的第个神经元
；第k?1层的第个神经元与第k层的第个神经元间的
??11,2...m；期望输出为T。 i,i?实际上，式子(4.1)中的阀值?可以归纳到连接权值中，即增加一个输入x028
，
基于BP神经网络的语音识别系统
对应着权值wi0??i。那么BP神经网络的神经元数学模型可以描述为：
S??wijijkk?1,kOjk?1 (4-4)
Oik?f(Sik) (4-5)
梯度下降算法是BP神经网络中根据误差进行权值调整的基本方法。在此方法中，连接权值的变化量正比于网络误差对连接权值的一阶导数。神经网络中第k层的误差来自第k?1层，设第个神经元的误差为?；神经网络整体误差为?，则梯度下降算法可描述为：
?1,k?wk???ji (4-6) ?1,k?wkji??其中，?wkji?1,k为第k?1层的第个神经元与第k层第个神经元间连接权值的
??k?1 (4-7) ????Ojkk?1,kkk?1,k?S?w?S?wijiiji?Sik变化量；?为学习速率常数。
????令?ik????Sik有：
k?1,kkk?1?w????O jiij (4-8)
式子(4.8)是连接权值调整的总规则，而在实际中权值的调整根据神经网络层的不同而有所区别。神经网络的输入层单纯地接收样本输入，可认为其没有权值，显然不用调整；隐含层和输出层的权值调整则因为误差等参数的不同而有各自的计算方法。
O?????'k?k?k?i?f(S) ikk ?S?O?S?Oiiiik?ki??(4-9)
1,2...m，那么网络总误差?为： 设神经网络的实际输出为yi,i?1??2m?(yi?1i?Ti)2 (4-10)
故对于输出层有：
k??i??ki?Of(S)?(y?T)f(S) iiii'k'k (4-11)
对于隐含层k，它的误差来自第k?1层，有：
nk?1k?1nk?1S???jk?1kk,?1??k????jwijkk?1 (4-12) ?O?S?Oj?1j?1iji??其中，
nk?1为第k?1层神经元个数。 29
洛阳师范学院2012届本科生毕业设计
综上所述，BP神经网络的权值调整规则为：
?1,k?1?wk????ikOkjij'k?(yi?T)f(Si),k为输出层i(4-13) ?nk k?1其中?i=?k?1k,k?1'k(?w)f(S),k为隐含层?jiji??j?14.2.3 传递函数
由于在误差反传过程中，需要对传递函数进行求导，所以要求BP神经网络的传递函数是连续可导的。BP神经网络常采用S型的对数传递函数和双曲正切传递函数。它们分别定义为(4-4)和(4-5)：
f()x?logsig(x)?11?e?ax ,a为常数 (4-14) (4-15)
f()x?tansig()x?1?e?ax?ax1?e ,a为常数对数传递函数和双曲正切传递函数的函数曲线如图4-4和图4-5：
10.90.80.70.60.50.40.30.20.10-10-8-6-4-20246810
图4-4 S型对数传递函数曲线(a=1)
30
基于BP神经网络的语音识别系统
10.80.60.40.20-0.2-0.4-0.6-0.8-1-10-8-6-4-20246810
图4-5 S型双曲正切传递函数曲线(a=2)
31