-230-
第十九章神经网络模型
§1 神经网络简介
人工神经网络是在现代神经科学的基础上提出和发展起来的，旨在反映人脑结构及 功能的一种抽象数学模型。自1943 年美国心理学家W. McCulloch 和数学家W. Pitts 提 出形式神经元的抽象数学模型—MP 模型以来，人工神经网络理论技术经过了50 多年 曲折的发展。特别是20 世纪80 年代，人工神经网络的研究取得了重大进展，有关的理 论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。 它在模式识别，图像处理，智能控制，组合优化，金融预测与管理，通信，机器人以及 专家系统等领域得到广泛的应用，提出了40 多种神经网络模型，其中比较著名的有感 知机，Hopfield 网络，Boltzman 机，自适应共振理论及反向传播网络（BP）等。在这 里我们仅讨论最基本的网络模型及其学习算法。 1.1 人工神经元模型
下图表示出了作为人工神经网络（artificial neural network，以下简称NN）的基本 单元的神经元模型，它有三个基本要素：
（i）一组连接（对应于生物神经元的突触），连接强度由各连接上的权值表示，权 值为正表示激活，为负表示抑制。
（ii）一个求和单元，用于求取各输入信号的加权和（线性组合）。
（iii）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范 围内（一般限制在(0,1)或(?1,1)之间）。 此外还有一个阈值k
θ（或偏置k k b = ?θ）。
以上作用可分别以数学式表达出来：
Σ
=
p j k kj j 1
=
u w x
，k k k v = u ?θ，( ) k k y =?v
式中p x , x , , x 1 2 L 为输入信号，k k kp w ,w , ,w 1 2 L 为神经元k 之权值，k u 为线性组合结 果，k
θ为阈值，?(?)为激活函数，k y 为神经元k 的输出。
若把输入的维数增加一维，则可把阈值k
θ包括进去。例如
Σ
=
=
p j k kj j 0
v w x
，( ) k k y =?u
此处增加了一个新的连接，其输入为1 0 x = ?（或+1），权值为k k w =θ0 （或k b ），如 下图所示。
-231-
激活函数?(?)可以有以下几种: （i）阈值函数
??? < ≥ = 0, 0 1, 0 ( ) v v
?v （1）
即阶梯函数。这时相应的输出k y 为
??? < ≥ = 0, 0 1, 0
k k
v v y
k
其中
Σ
=
= ?
p j k kj j k 1
v w x
θ，常称此种神经元为M ?P模型。
（ii）分段线性函数
?? ? ?? ? ? ≤? + ?<< ≥ = 0, 1 (1 ), 1 1 2 1 1, 1 ( ) v v v v
?v （2）
它类似于一个放大系数为1 的非线性放大器，当工作于线性区时它是一个线性组合器， 放大系数趋于无穷大时变成一个阈值单元。 （iii）sigmoid 函数 最常用的函数形式为
1 exp( ) ( ) 1 v v
α ?
+ ? = （3）
参数α>0可控制其斜率。另一种常用的是双曲正切函数
1 exp( ) 1 exp( ) 2
( ) tanh v v v v + ? ?? = ?? ?
??
?= ?（4）
这类函数具有平滑和渐近性，并保持单调性。 Matlab 中的激活（传递）函数如下表所示： 函数名功能
purelin 线性传递函数
-232-
hardlim 硬限幅传递函数
hardlims 对称硬限幅传递函数 satlin 饱和线性传递函数 satlins 对称饱和线性传递函数 logsig 对数S 形传递函数 tansig 正切S 形传递函数 radbas 径向基传递函数
compet 竞争层传递函数
各个函数的定义及使用方法，可以参看Matlab 的帮助（如在Matlab 命令窗口运行 help tansig，可以看到tantig 的使用方法，及tansig 的定义为1
1
( ) 2 2 ? + = e?v
?v ）。
1.2 网络结构及工作方式
除单元特性外，网络的拓扑结构也是NN 的一个重要特性。从连接方式看NN 主要 有两种。
（i）前馈型网络
各神经元接受前一层的输入，并输出给下一层，没有反馈。结点分为两类，即输入 单元和计算单元，每一计算单元可有任意个输入，但只有一个输出（它可耦合到任意多 个其它结点作为其输入）。通常前馈网络可分为不同的层，第i层的输入只与第i ?1层 输出相连，输入和输出结点与外界相连，而其它中间层则称为隐层。 （ii）反馈型网络
所有结点都是计算单元，同时也可接受输入，并向外界输出。
NN 的工作过程主要分为两个阶段：第一个阶段是学习期，此时各计算单元状态不
变，各连线上的权值可通过学习来修改；第二阶段是工作期，此时各连接权固定，计算 单元状态变化，以达到某种稳定状态。
从作用效果看，前馈网络主要是函数映射，可用于模式识别和函数逼近。反馈网络 按对能量函数的极小点的利用来分类有两种：第一类是能量函数的所有极小点都起作 用，这一类主要用作各种联想存储器；第二类只利用全局极小点，它主要用于求解最优 化问题。
§2 蠓虫分类问题与多层前馈网络 2.1 蠓虫分类问题
蠓虫分类问题可概括叙述如下：生物学家试图对两种蠓虫（Af 与Apf）进行鉴别， 依据的资料是触角和翅膀的长度，已经测得了9 支Af 和6 支Apf 的数据如下： Af: (1.24,1.27)，(1.36,1.74)，(1.38,1.64)，(1.38,1.82)，(1.38,1.90)，(1.40,1.70)，
(1.48,1.82)，(1.54,1.82)，(1.56,2.08).
Apf: (1.14,1.82)，(1.18,1.96)，(1.20,1.86)，(1.26,2.00)，(1.28,2.00)，(1.30,1.96). 现在的问题是：
（i）根据如上资料，如何制定一种方法，正确地区分两类蠓虫。
（ii）对触角和翼长分别为(1.24,1.80)，(1.28,1.84)与(1.40,2.04)的3 个标本，用所得 到的方法加以识别。
（iii）设Af 是宝贵的传粉益虫，Apf 是某疾病的载体，是否应该修改分类方法。 如上的问题是有代表性的，它的特点是要求依据已知资料（9 支Af 的数据和6 支
Apf 的数据）制定一种分类方法，类别是已经给定的（Af 或Apf）。今后，我们将9 支
-233-
Af 及6 支Apf 的数据集合称之为学习样本。 2.2 多层前馈网络
为解决上述问题，考虑一个其结构如下图所示的人工神经网络， 激活函数由
1 exp( ) ( ) 1 v v
α ?
+ ? =
来决定。图中最下面单元，即由所示的一层称为输入层，用以输入已知测量值。在 我们的例子中，它只需包括两个单元，一个用以输入触角长度，一个用以输入翅膀长度。 中间一层称为处理层或隐单元层，单元个数适当选取，对于它的选取方法，有一些文献 进行了讨论，但通过试验来决定，或许是最好的途径。在我们的例子中，取三个就足够 了。最上面一层称为输出层，在我们的例子中只包含二个单元，用以输出与每一组输入 数据相对应的分类信息．任何一个中间层单元接受所有输入单元传来的信号，并把处理 后的结果传向每一个输出单元，供输出层再次加工，同层的神经元彼此不相联接，输入 与输出单元之间也没有直接联接。这样，除了神经元的形式定义外，我们又给出了网络 结构。有些文献将这样的网络称为两层前传网络，称为两层的理由是，只有中间层及输 出层的单元才对信号进行处理；输入层的单元对输入数据没有任何加工，故不计算在层 数之内。
为了叙述上的方便，此处引人如下记号上的约定：令s 表示一个确定的已知样品标 号，在蠓虫问题中，s = 1,2,L,15，分别表示学习样本中的15 个样品；当将第s个样 品的原始数据输入网络时，相应的输出单元状态记为Os (i = 1,2) i ，隐单元状态记为
?
) 3 , 2 , 1 ( = j H sj
，输入单元取值记为I s (k = 1,2)
k 。请注意，此处下标i, j,k 依次对应于
输出层、中间层及输入层。在这一约定下，从中间层到输出层的权记为ij w ，从输入层