设BP网络的输入层有m个神经元,输出层有n个神经元,隐含层有p个神经元,d(i)为输入层节点,i 1,2,
出层节点k 1,2,,m;d(j)为隐含层节点,j 1,2,,p;d(k)为输,n。xi为d(i)的输入或输出;Hj、hj分别为d(j)的输入、输
*出;Yk、yk分别为d(k)的输入、输出;yk为d(k)的期望输出;wij为d(i)与d(j)之
间的连接权(以下称为隐含层的权值);wjk为d(j)与d(k)之间的连接权(以下称为输出层的权值)。
对于隐含层,有
Hj xiwij （2-4）
i 1m
hj f(Hj) （2-5）
对于输出层，有
Yk hjwjk （2-6）
j 1p
yk f(Yk) （2-7） 当网络实际输出与期望输出之间的全局误差E定义如下: 1m*2 E (yk yk) （2-8） 2k 1
将以上误差定义式展开到隐含层,则有: p1m1m*2*2 E [f(Yk) yk] [f( hjwjk) yk] （2-9） 2k 12k 1j 1
进一步展开至输入层,得到
ppm1m1m*2*2E {f[ f(Hj)wjk] yk} {f[ f( xiwij)wjk] yk} （2-10） 2k 12k 1j 1j 1i 1
从上式可以看出,网络输入误差是各层权值wij、wjk的函数,因此调整权值可改变误差E。显然,调整权值的原则是使误差不断地减小,因此应使权值的调整量与误差的梯度下降成正比,故而有:
wjk E wjk （2-11）