利用神经网络识别印刷体越南字符 - 图文(8)

第四章人工神经网络和光学字符识别第四章人工神经网络和光学字符识别４．１引言人工神经网络是高度非线性的系统，具有一般非线性系统的特性【１１】。虽然单个神经元的组成和功能极其有限，但大量神经元构成的网络系统所实现的功能却是极其强大的。人工神经网络的数理模型有很多种，基本运算可以归结为４种：积与和、权值学习、阈值处理和非线性函数处理。神经网络按性能可以分为连续型与离散型、确定型与随机型、静态与动态网络；按联接方式可以分为前馈型与反馈型；按逼近特性可以分为全局逼近型和局部逼近型１１２１。人工神经网络的工作方式由两个阶段组成：１）学习期：神经元之间的联接权值可由学习规则进行修改，以使目标函数（或准则函数）达到最小。２）工作期：联接权值不变，由网络的输入得到相应的输出。反向传递网络模型（ＢＰ网络）是目前神经网络中最具代表性、应用最普遍的模型之一，由输入层、隐层和输出层组成。反向传递网络最常用的非线性转换函数为Ｓｉ舯ｏｉｄ函数，这种函数当自变量趋于正负无穷大时，函数值趋于常数，其函数值域为［Ｏ，１】。４．２人工神经网络４．２．１历史回顾神经网络领域研究的背景工作始于１９世纪末和２０世纪初【Ｂ】。它源于物理学、心理学和神经生物学等多种学科，主要代表人物有ＨｅＨｎ锄ｖｏｎＨｅｌ柚ｏｌｔｚ，ＥｍｓｔＰｅｔｒｏｖｉｃＭａｃｈ和Ｉｖ觚ＰａＶｌｏｖ。这些早期的研究主要还是着重于有关学习、视觉和条件反射等一般理论，并没有包含有关神经元工作的数学模型。现代对神经网络的研究可以追溯到１９４０年代ＷａｒｒｅｎＭｃＣｕｌｌｏｃｈ和ＷａｌｔｅｒＰｉｔｔｓ的工作。他们从原理上证明了人工神经网络可以计算任何算术和逻辑函数。通常认为他们是最先开始研究神经网络的。东南人学硕士学位论文人工神经网络的第一个实际应用出现在１９５０年代后期，Ｆ删叔ｌ沁ｓｅｎｂｌａｔｔ提出了感知机网络和学习规则。Ｆ砌咄Ｒｏｓｅｎｂｌａｔｔ同时构造了一个感知机网络，并公开演示了它模式识别的能力。这次早期的成功引起了许多人对神经网络研究的兴趣。但是，ＭｉｎＳｋｙ和Ｐ印ｅｒｔ利用数学证明了单层感知器存在根本局限。在有关多层感知器的一节中，他们认为单层感知器的局限性在多层情况不能被克服。许多人受到Ｍｉｎｓｋｙ和Ｐａｐｅｒｔ的影响，认为神经网络的研究已走入了死胡同。同时由于当时没有强大的数字计算机来支持各种实验，从而导致许多研究者纷纷离开这一研究领域。神经网络的研究就这样停滞了１０年。到了１９８０年代，随着个人计算机和工作站计算能力的急剧增强和广泛应用以及不断引入新的概念，克服了神经网络研究前面的障碍，人们对神经网络的研究热情又重新高涨起来。其中，最有影响的事件就是几个不同的研究者分别开发出了用于训练多层感知机的反向传播算法（ＢＰ算法）。该算法完全否定了Ｍｉｎｓｋｙ和Ｐａｐｅｒｔ对多层感知机局限性的断言。这些新的进展对神经网络研究领域注入了活力。在过去的２０年中，人们发表了成千上万的神经网络研究论文。由于多层神经网络的非线性和自适应性等特点，神经网络已经在模式识别、人工智能、自动控制等领域获得了成功的应用。４．２．２人工神经元模型神经网络的基本组成单元是神经元，数学上的神经元模型与生物学上的神经细胞相对应。或者说，人工神经网络理论是用神经元这种抽象的数学模型来描述客观世界的生物细胞的ｎ射。很明显，生物的神经细胞是神经网络理论诞生和形成的物质基础和源泉。这样，神经元的数学描述就必须以生物神经细胞的客观行为特性为依据。因此，了解生物神经细胞的行为特性就是一件十分重要的事。在人脑的皮质中大约有１００亿个神经元。这些神经元细胞彼此相连接，形成复杂的网状结构。这些神经元细胞，就是构成大脑的基础。神经元细胞由细胞体、轴突、树突三部分构成。细胞体是由很多分子形成的综合体，内部含有一个细胞核、核糖体、原生质网状结等，它是神经元活动的能量供应地，在这里进行新陈代谢等各种生化过程。神经元也即是整个细胞，整个细胞的最外层称为细胞膜。细胞体的伸延部分产生的分枝称为树突，树突是接受从其它神经元传入信息的入口。细胞体突起的最长的外伸管状纤维称为轴突。轴突可达１米以上，是把神经元兴奋的信息传输到其它神经元的出口。神经元细胞的构造见图４—１。第四章人Ｊ：神经网络和光学字符识别图４一ｌ神经兀细胞突触，是一个神经元与另一个神经元之『白Ｊ相联系并进行信息传送的结构。它由突触前成分、突触间隙和突触后成分组成。突触前成分是一个神经元的轴突末梢。突触间隙是突触前成分与后成分之间的距离空间，阔隙一般为２００—３００Ａ。突触后成分可以是细胞体、树突或轴突。突触的存在说明：两个神经元的细胞质并不直接连通，两者彼此联系是通过突触这种结构接Ｕ的。有时，也把突触看作是神经元之间的连接。根据神经生理学的研究，已经发现神经元及其之问的突触起码有４种不同的行为：１）能处于抑制或兴奋状态：２）能产生爆发和平台两种情况；３）能产生抑制后的反冲；４）具有适应性。突触的４种生物行为有：１）能进行信息综合；２）能产生渐次变化的传送；３）有电接触和化学接触等多种连接方式；４）会产生延时激发。目前，人工神经网络的研究仅仅是对神经元的第一种行为和突触的第一种行为进行模拟，其它行为尚未考虑。所以，神经网络的研究只是处于起步的初级阶段，后边还有大量工作有待人们去探讨和研究。目前，神经网络的研究已向人们展示了其美好的前景。只要按阶段不断取得进展，神经元和突触的其它行为是完全可以实现人工模拟的。２９东南人学硕士学位论文神经元是一个多输入单输出的信息处理单元，而且，它对信息的处理是非线性的。根据神经元的特性和功能，可以把神经元抽象为一个简单的数学模型哺１。工程上用的人工神经元模型如图４—２所示。Ｘｌｙｉ图４—２人工神经元模型在图４．２中，Ｘｌ，Ｘ２’．－．，Ｘｎ是神经元的输入，是来自前级ｎ个神经元轴突的信息：功是许申经元的阈值；ｗｉｌ，、№…，ｗｉｌｌ分别是ｉ神经元对Ｘｌ，Ｘ２，…，Ｘ。的权系数，也即突触的传递效率；ｙｉ是ｉ神经元的输出；ｆ［?］是激活函数，决定ｉ神经元受到输入Ｘ１，Ｘ２，…。，Ｘｎ的共同刺激达到阈值时以何种方式输出。上述神经元模型其数学模型表达如下：肛喜％纠【ｎ＝厂（研）（４一１）其中，Ｕｉ又称为诱导局部域。激活函数ｆ［．］通过诱导局部域Ｕｉ定义神经元的输出。常用的激活函数有阈值函数、分段线性函数、ｓｉ舯ｏｉｄ函数、双曲函数、径向基函数。４．２．３神经网络的结构神经网络是由人工神经元（简称神经元）组成。一般说来，人工神经网络有３种不同的网络结构。一种是单层前馈网络：在分层网络中，神经元以层的形式组织【１６１。最简单的分层网络就是单层前馈网络。这种网络结构中，计算节点只有一层。单层前馈网络包含一个输入层和～个输出层，只有输出层是计算层，输入层不进行计算。如图４—３。第四章人工神经网络和光学字符识别一¨ＩＷ＇１ｙ＇ｙｊ输入层输出层（ｗｊｍ＝。１。ｗ加＝０２。ｗ－帆暑０－＇）图４—３单层前馈网络其中Ｗ矩阵为：脚１．１珊ｌ。２…硼ｌ。曰Ｗ＝硼２，ｌ珊２，２…加２．足１％．１埘ｓ。２…埘鼠詹（４—２）分层网络中，还有一种前馈网络不仅有输入层和输出层，还包含一层或多层隐含层。这种网络叫做多层前馈网络。相应的计算节点被称为隐含神经元或隐含节点。隐含神经元的功能是以某种方式介入输入层和输出层之间，加上一个或多个隐含层，网络可以引出高阶统计特征。一个典型的多层前馈网络如图４－４。图４—４多层前馈网络３１