Δ = Σ
s sq sp
pq
w ηδv （14）
指标p 对应于两个单元中输出信号的一端，q 对应于输入信号的一端，v 或者代表H 或 者代表I 。形式上看来，这一修正是“局部”的，可以看作是Hebb 律的一种表现形式。 还应注意，s
i
δ
由实际输出与理想输出的差及s i h 决定，而s
j
δ则需依赖s δ
i
算出，因此，
这一算法才称为向后传播算法。稍加分析还可知道，利用由（11）~（13）式所给出的 计算安排，较之不考虑sp
δ的向后传播，直接计算所有含?'的原表达式，极大地降低了
计算工作量。这组关系式称作广义δ?法则，它们不难推广到一般的多层网络上去。 利用这一迭代算法，最终生成在一定精度内满足要求的{ , } ij jk w w 的过程，称为人
工神经网络的学习过程。可以看出，这里所提供的学习机制是元与元之间权的不断调整， 学习样本中任何一个样品所提供的信息，最终将包含在网络的每一个权之中。参数η的 大小则反映了学习效率。
为了更有效地应用BP 算法，我们做出如下一些补充说明。
（i）在式（11）与（13）中，ij jk Δw ,Δw 表示为与所有样品s有关的求和计算。 实际上，我们还可以每次仅考虑输入一个样品所造成的修正，然后，按照随机选取的顺 序，将所有样品逐个输入，不断重复这一手续，直至收敛到一个满意的解为止。 （ii）在如上的算法中，利用实际输出与理想输出差的平方和作为度量{ , } ij jk w w 优 劣的标准，这并不是唯一的度量方式，完全可以从其它的函数形式出发，例如从相对熵 出发，导出相应的算法。
（iii）在如上的讨论中使用的是最速下降法，显然，这也不是唯一的选择，其它的
非线性优化方法，诸如共轭梯度法，拟牛顿法等，都可用于计算。为了加速算法的收敛 速度，还可以考虑各种不同的修正方式。
（iv）BP 算法的出现，虽然对人工神经网络的发展起了重大推动作用，但是这一 算法仍有很多问题．对于一个大的网络系统，BP 算法的工作量仍然是十分可观的，这 主要在于算法的收敛速度很慢。更为严重的是，此处所讨论的是非线性函数的优化，那 么它就无法逃脱该类问题的共同困难：BP 算法所求得的解，只能保证是依赖于初值选
取的局部极小点。为克服这一缺陷，可以考虑改进方法，例如模拟退火算法，或从多个
-236-
随机选定的初值点出发，进行多次计算，但这些方法都不可避免地加大了工作量。 2.4 蠓虫分类问题的求解
下面利用上文所叙述的网络结构及方法，对蠓虫分类问题求解。编写Matlab 程序 如下： clear
p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90; 1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08]; p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00 1.28,2.00;1.30,1.96]; p=[p1;p2]';
pr=minmax(p);
goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)]; plot(p1(:,1),p1(:,2),'h',p2(:,1),p2(:,2),'o') net=newff(pr,[3,2],{'logsig','logsig'}); net.trainParam.show = 10; net.trainParam.lr = 0.05; net.trainParam.goal = 1e-10; net.trainParam.epochs = 50000; net = train(net,p,goal);
x=[1.24 1.80;1.28 1.84;1.40 2.04]'; y0=sim(net,p) y=sim(net,x)
§3 处理蠓虫分类的另一种网络方法
3.1 几个有关概念
在介绍本节主要内容之前，首先说明几个不同的概念。在上一节中，我们把利用 BP 算法确定联接强度，即权值的过程称为“学习过程”，这种学习的特点是，对任何一 个输入样品，其类别事先是已知的，理想输出也已事先规定，因而从它所产生的实际输 出与理想输出的异同，我们清楚地知道网络判断正确与否，故此把这一类学习称为在教 师监督下的学习；与它不同的是，有些情况下学习是无监督的，例如，我们试图把一组 样品按其本身特点分类，所要划分的类别是事先未知的，需要网络自身通过学习来决定， 因而，在学习过程中，对每一输入所产生的输出也就无所谓对错，对于这样的情况，显 然BP 算法是不适用的。
另一个有关概念是所谓有竞争的学习。在上节所讨论的蠓虫分类网络中，尽管我们 所希望的理想输出是(1,0)或(0,1)，但实际输出并不如此，一般而言，两个输出单元均 同时不为0。与此不同，我们完全可以设想另外一种输出模式：对应任何一组输入，所 有输出单元中，只允许有一个处于激发态，即取值为1，其它输出单元均被抑制，即取 值为0。一种形象的说法是，对应任何一组输入，要求所有的输出单元彼此竞争，唯一 的胜利者赢得一切，失败者一无所获，形成这样一种输出机制的网络学习过程，称为有 竞争的学习。
3.2 最简单的无监督有竞争的学习
本节叙述一种无监督有竞争的网络学习方法，由此产生的网络可用来将一组输入样
品自动划分类别，相似的样品归于同一类别，因而激发同一输出单元，这一分类方式，
是网络自身通过学习，从输入数据的关系中得出的。
蠓虫分类问题对应有教师的网络学习过程，显然不能由如上的方法来解决。但在这
种无监督有竞争的学习阐明之后，很容易从中导出一种适用于有监督情况的网络方法； 此外，本节所介绍的网络，在数据压缩等多种领域，都有其重要应用。
-237-
考虑一个仅由输入层与输出层组成的网络系统，输入单元数目与每一样品的测量值 数目相等，输出单元数目适当选取。每一个输入单元与所有输出单元联接，第j 个输入 元到第i 个输出元的权记为ij w ，同层单元间无横向联接。无妨假设所有输入数值均已 规化到[?1,1]之间，又因为是有竞争的学习，输出单元只取0 或1 两个值，且对应每一 组输入，只有一个输出元取1。
取1 的输出元记为i*，称之为优胜者．对于任何一组输入s，规定优胜者是有最大 净输入的输出元，即对输入( , , ) 1 n I = I L I 而言，
=Σ≡?
j i ij j i
h w I W I (15)
取最大值的单元，其中i W 是输出元i 所有权系数组成的向量，也就是说 W I W I i i ?≥?* ，(?i) （16） 如果权向量是按照
j
Σ=
w2 1的方式标准化的，（16）式等价于 | | | | * W I W I i i ?≤?，(?i) （17）
ij
即优胜者是其标准化权向量最靠近输入向量的输出元。令1 * = i O ，其余的输出
= 0 i O 。这样的输出规定了输入向量的类别，但为了使这种分类方式有意义，问题化
为如何将学习样本中的所有样品，自然地划分为聚类，并对每一聚类找出适当的权向量。 为此，采用如下的算法：随机取定一组不大的初始权向量，注意不使它们有任何对称性。 然后，将已知样品按照随机顺序输入网络。对输入样品s，按上文所述确定优胜者i*， 对所有与i*有关的权作如下修正
( ) * i* j
sj
i j
Δw =ηI ?w （18）
所有其它输出单元的权保持不变。注意到1 * = i O ，O 0(i i* ) i = ≠，所有权的修正公式 可统一表示为
( ) * i* j
sj
i j i
Δw =ηO I ?w
这一形式也可视为Hebb 律的一种表现。（18）式的几何意义是清楚的，每次修正将优 胜者的权向量向输入向量移近一小段距离，这使得同一样品再次输入时，i*有更大的 获胜可能。可以合理地预期，反复重复以上步骤，使得每个输出单元对应了输入向量的 一个聚类，相应的权向量落在了该聚类样品的重心附近。当然，这只是一个极不严密的
说明。
特别应当指出，上述算法，对于事先按照
Σ= 1 I 标准化了的输入数据更为适用，
j
整个过程不难由计算机模拟实现。
为了更有效地使用如上算法，下面对实际计算时可能产生的问题，作一些简要说明。 首先，如果初始权选择不当，那么可能出现这样的输出单元，它的权远离任何输入
向量，因此，永远不会成为优胜者，相应的权也就永远不会得到修正，这样的单元称之 为死单元。为避免出现死单元，可以有多种方法。一种办法是初始权从学习样本中抽样 选取，这就保证了它们都落在正确范围内；另一种办法是修正上述的学习算法，使得每 一步不仅调整优胜者的权，同时也以一个小得多的η值，修正所有其它的权。这样，对 于总是失败的单元，其权逐渐地朝着平均输入方向运动，最终也会在某一次竞争中取胜。 此外，还存在有多种处理死单元的方法，感兴趣的读者可从文献中找到更多的方法。
-238-
另外一个问题是这一算法的收敛性。如果式（18）或（19）中反映学习效率的参数
η取为一个固定常数，那么权向量永远不会真正在某一有限点集上稳定下来。因此，应
当考虑在公式中引进随学习时间而变化的收敛因子。例如，取= t = t ?a 0 ηη( ) η，
0
量，η下降太快，则会使学习变得无效。
3.3 LVQ 方法
上述有竞争学习的一个最重要应用是数据压缩中的向量量子化方法（Vector
Quantization）。它的基本想法是，把一个给定的输入向量集合I s分成M 个类别，然后 用类别指标来代表所有属于该类的向量。向量分量通常取连续值，一旦一组适当的类别 确定之后，代替传输或存储输入向量本身，可以只传输或存储它的类别指标。所有的类 别由M 个所谓“原型向量”来表示，我们可以利用一般的欧氏距离，对每一个输入向 量找到最靠近的原型向量，作为它的类别。显然，这种分类方法可以通过有竞争的学习 直接得到。一旦学习过程结束，所有权向量的集合，便构成了一个“电码本”。 一般而言，上述无监督有竞争的学习，实际提供了一种聚类分析方法，对如蠓虫分 类这种有监督的问题并不适用。1989 年，Kohonen 对向量量子化方法加以修改，提出 了一种适用于有监督情况的学习方法，称为学习向量量子化（Learning Vector
Quantization），该方法可用于蠓虫分类问题。在有监督的情况下，学习样品的类别是事 先已知的，与此相应，每个输出单元所对应的类别也事先作了规定，但是，代表同一类 别的输出单元可以不止一个。
在LVQ 中，对于任一输入向量，仍按无监督有竞争的方式选出优胜者i*，但权的 修正规则则依输入向量的类别与i*所代表的是否一致而不同，确切地说，令
?? ?? ? ?? ?
Δ =
不一致情况 一致情况
( ) ( )
* * *
i j sj i j sj
I w I w w
i j
η η
前一种情况，修正和无监督的学习一致，权朝向样品方向移动一小段距离；后一种 则相反，权向离开样品方向移动，这样就减少了错误分类的机会。 对于上述的蠓虫分类问题，我们编写Matlab 程序如下： clear
p1=[1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90; 1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08]; p2=[1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00 1.28,2.00;1.30,1.96];
p=[p1;p2]' pr=minmax(p)
goal=[ones(1,9),zeros(1,6);zeros(1,9),ones(1,6)] net = newlvq(pr,4,[0.6,0.4]) net = train(net,p,goal)
Y = sim(net,p)
x=[1.24 1.80;1.28 1.84;1.40 2.04]' sim(net,x) 习题十九
1. 利用BP 算法及sigmoid 函数，研究以下各函数的逼近问题
-239-
（i）, 1 100 ( ) = 1 ≤x ≤
x f x
（ii）
2
( ) sin , 0
π
f x = x ≤x ≤
对每一函数要完成如下工作：
①获取两组数据，一组作为训练集，一组作为测试集；
②利用训练集训练一个单隐层的网络；用测试集检验训练结果，改变隐层单元数， 研究它对逼近效果的影响。 2. 给定待拟合的曲线形式为
f (x) = 0.5 + 0.4sin(2πx)
在f (x)上等间隔取11 个点的数据，在此数据的输出值上加均值为0，均方差σ= 0.05 的正态分布噪声作为给定训练数据，用多项式拟合此函数，分别取多项式的阶次为1， 3 和11 阶，图示出拟合结果，并讨论多项式阶次对拟合结果的影响。__