利用神经网络识别印刷体越南字符 - 图文(9)

东南大学硕士学位论文４．２．４神经网络的学习方法神经网络的一个重要特点就是通过向环境学习来改进系统自身的性能，性能的改善是通过调节系统自身的参数，也就是各神经元之间的连接权值和各自的阈值而逐步达到的ｎ７１。学习方法有３种：１、监督学习：又称为有教师学习，给定一组输入及预期输出，这组输入输出数据称为训练样本集，神经网络系统可根据实际输出与预期输出的差值调节系统参数。２、非监督学习：又称为无教师学习，系统按照提供数据的某种统计上的分布特征，如聚类，来调节自身参数和结构。３、激励学习：环境对系统输出给予奖罚评价信息，学习系统接受这些评价信息后，调节自身参数，从而改善性能。４．３ＢＰ神经网络４．３．１简单介绍ＢＰ神经网络是一种多层前馈神经网络，或称多层感知机。严格地说，这种神经网络之所以被称为ＢＰ神经网络，并非由于其网络结构，而是由于其连接权值的训练是基于一种叫做误差反向传播的算法（ＢａｃｋＰｒｏｐａｇａｔｉｏｎ）。误差反向传播算法是由ＤａＶｉｄＲ啪ｅｌｈ缸，Ｇｅｏ倚ｅｙＨｉｍｏｎ和ＩｂｎａｌｄＷｉｌｌｉ锄ｓ，ＤａｖｉｄＰａｒｋｅｒ以及Ｙ锄ＬｅＣｕｒｌ分别独立发现的。这个算法因被包括在《ＰａｒａｌｌｅｌＤｉ鲥ｂｕｔｅｄＰｒｏｃｅｓｓｉｌｌｇ》一书中而得到普及【１８】。误差反向传播算法也称反向传播算法或ＢＰ算法。由于这种算法在本质上是一种神经网络学习的数学模型，所以，有时也称为ＢＰ模型。ＢＰ算法是为了解决多层前馈神经网络的权系数优化而提出来的。故而，有时也称多层前馈网络为ＢＰ模型。反向传播学习算法可以对网络中各层的权系数进行修正，故适用于多层网络的学习。ＢＰ算法是目前最广泛应用的神经网络学习算法之一，是多层前馈网络最有效的学习算法。反向传播算法分两步进行，即正向传播和反向传播。这两个过程的工作简述如下。ｌ，正向传播３２第四章人工神经网络和光学字符识别输入样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。２，反向传播反向传播时，把误差信号按原来正向传播的通路反向传送，并对每个隐层的各个神经元的权系数进行修改，以使期望误差信号趋向最小。ＢＰ算法实质是求取误差函数的最小值问题。这种算法采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权系数。ＢＰ神经网络的结构大致如图４．４所示，中间层（隐层）可以是一层，也可以是多层，网络中没有反馈，没有层内联接，每一个神经元只能前馈联到下一层的所有神经元。在人工神经网络的实际应用中，大约７０％一８０％都是采用ＢＰ神经网络，本文采用的也是ＢＰ神经网络。输入层隐层输出层．．一：．．图４—５４．３．２Ｂｆ．ＢＰ神经元图４．６给出了第ｊ个基本ＢＰ神经元（节点’【１９】’它只模仿了生物神经元所具有的３个最基本也是最重要的功能：加权、求和与转移。其中ｘ卜ｘ２…ｘｉ．．．Ｘｎ分别代表来自神经元ｌ、２…ｉ…ｎ的输入；Ｗｌ、Ｗ２…Ｗｉ…Ｗ。则分别表示神经元ｌ、２…ｉ…ｎ与第ｊ个神经元的连接强度，即权值；ｂ！ｊ为阈值；ｆｉ［‘）为传递函数；）Ｉ：ｊ为第ｊ个神经元的输出。第ｊ个神经元的净输入值ｓｊ为：ｌ＝∑～．五＋ｑ＝％ｘ＋％』Ｉｌ（４—３）３３东南大学硕士学位论文＋１图４—６ＢＰ神经元其中：ｘ＝ｋ吃．．‘…％ｒ髟＝ｈ，＿：…％…％Ｊ．若设ｘ。２１，ｗ，。＝ｂ，，即令ｘ及ｗ，包括ｘ。及ｗｊｏ，则ｘ＝ｋ而％．．再．．乇】ｒ％＝ｈ。一。＿：…％…％ｊ于是节点ｊ的净输入Ｓ。可表示为：叠＝∑＿，点＝％ｘＪ＝ｌ（４—４）净输入Ｓ，通过传递函数（ＴｒａＪｌｓｆｅｒＦｕｌｌｃｔｉｏｎ）ｆ（?）后，便得到第ｊ个神经元的输出：乃：厂Ｇ，）：／（窆一，．五）：Ｆ（％ｚ）ｌ＝Ｏ（４—５）式中ｆ（?）是单调上升函数，而且必须是有界函数，因为细胞传递的信号不可能无限增加，必有一最大值。４．３．３正向传播ＢＰ算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成【２０】。正向传播时，传播方向为输入层一隐层一输出层，每层神经元的状态只影响下一层神经元。若在输出层得不到期望的输出，则转向误差信号的反向传播流程。通过这两个过程的交替进行，在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。设ＢＰ网络输入层有ｎ个节点，隐层有ｑ个节点，输出层有ｍ个节点，输入层与隐层之间的权值为ｖＩ【ｉ，隐层与输出层之间的权值为ｗｉｋ，如图４．５所示。隐层的传递函数为ｆｌ（?），输出层的传递函数为龟（?），则隐层节点的输出为（将阈值写入求和项中）：气＝石（∑％‘）』＝Ｏ输出层节点的输出为：第四章人工神经网络和光学字符识别口＂＝石（∑‰．磊）七一０（４—７）至此ＢＰ网络就完成了ｎ维空间向量对ｍ维空间的近似映射。４．３．４反向传播１）定义误差函数输入尸个学习样本，用ｘ１，Ｘ２，．．．Ｘｒ，．．．ｘｐ来表示。第ｐ个样本输入到网络后得到输出玎（ｊ＝１，２，．．．ｍ）。采用平方型误差函数，于是得到第ｐ个样本的误差为：１用２Ｅ，＝去∑（巧一ｙｊ）‘』－ｌ（４—８）式中：分为期望输出。对于Ｐ个样本，全局误差为：１Ｐ卅ＰＥ＝去∑∑（巧一巧）＝∑耳２）输出层权值的变化采用累计误差ＢＰ算法调整ｗｉｋ，使全局误差Ｅ变小，即（４—９）△‰一刁嚣一叩击ｃ喜耻喜ｃ一刀薏，式中：刁为学习率。定义误差信号为：ｍ㈣屯一每＝考茜其中第１项：（４—１１）考＝瑞喜咿∥］＝一芸ｃ州，第２项：＾（４—１２）警＝爿（ｔ’舔。“叫。是输出层传递函数的偏微分。于是：——‘＝，．ＩＬ、．●（４—１３）％＝∑（巧一巧）２刀（ｑ）由链定理得：（４一１４）嚣２考?舞一协芬铲圳ｃ啪于是输出层各神经元的权值调整公式为：３５沁㈣东南大学硕士学位论文△％＝∑∑，７（（一巧）２Ｚ（ｓ）乙（４—１６）３）隐层权值的变化△％一刁篆一刁杀ｃ善Ｅ，＝喜ｃ一刁薏，定义误差信号为：。４川，颤一薏一鲁?盖其中第１项：（４—１８）玺＝丢巴姜ｃ巧一∥］－一委ｃ（一巧，警依链定理有：ａ。４ｍ，盟瓴ｔａ饥酉第２项：坠．溉嬲＝、Ⅳ刀，ＬＳ％（４—２０）堕溉｝。是隐层传递函数的偏微分。于是：（４—２１）如＝∑（哆一巧坍（１）‰彳（墨）由链定理得：（４—２２）豢２簧?鲁一如薯一善（（一杉坍（１）‰爪瓯ｈ从而得到隐层各神经元的权值调整公式为：（４＿２３）峨＝∑∑，７（Ｃ一巧坍（Ｓ）％彳（＆）．薯４．４确定ＢＰ网络的结构（４—２４）确定了网络层数、每层节点数、传递函数、初始权系数、学习算法等也就确定了ＢＰ网络。确定这些选项时有一定的指导原则，但更多的是靠经验和试凑ｆ２０】。４．４．１隐层数和隐层节点数的确定１９９８年ＩｂｂｅｒｔＨｅｃｈｔ．ＮｉｅｌＳｏｎ证明了对任何在闭区间内的连续函数，都可以用一个隐层