基于卷积神经网络的深度学习算法与应用研究 - 图文(4)

１．４本文主要内容本文主要针对卷积神经网络在手写体数字识别问题上的性能进行理论研究，在交通标示识别问题上进行应用研究与分析。卷积神经网络有着优秀的深度学习能力，能够提取出大量数据样本潜藏的特征信息，对海量数据有很强的表示能力。这使得卷积神经网络在模式识别的各个领域得到了广泛的应用。本文一共分为五章，其中本文的主要工作集中在第三章、第四章。本文具体安排如下：第一章绪论部分，主要介绍了本课题的背景、研究意义和国内外研究现状，然后介绍了深度学习存在的问题和不足之处。第二章分为两部分，第一部分介绍了人工神经网络的基础理论，从最基础的单个神经元到多层感知器网络结构，并对神经网络在训练过程中涉及到的算法和算法的推导过程做了详细介绍。第二部分对卷积神经网络涉及的概念，分类方法和卷积神经网络的整体架构做了介绍。包括稀疏连接和权重共享思想以及用于对数据进行识别的分类算法，及其具体的推导过程。第三章是在经典的ＬｅＮｅｔ－５网络模型的基础上构建了三个改进的卷积神经网络模型，并应用于手写字体识别问题，通过实验对不同结构的网络模型性能进行分析比较，并在理论上分析不同的网络结构对于卷积神经网络识别性能的影响。并且将卷积神经网络的识别性能和传统的分类方法做了对比分析。第四章主要是卷积神经网络在交通标示识别问题上的应用，由两大部分组成，第一部分是将卷积神经网络和多层感知器结合，用于交通标示识别问题。第二部分我们基于自适应增强（Ａｄａｂｏｏｓｔ）思想，构建了一个多列深度神经网络系统，并将其应用于交通标示识别，取得了很好的识别效果。第五章是对全文研究工作的总结，并对未来的工作方向进行了展望。第二章人工神经网络和卷积神经网络的结构及算法２．１人工神经网络在计算机科学和相关领域中，人工神经网络是模拟动物中枢神经系统（特别是大脑）的计算模型，使得机器能够像人脑一样进行学习和识别信息。神经网络是通过大量相互连接的神经元进行计算，通常用来对输入和输出之间的复杂关系进行建模，或者用来探索数据的内在模式。２．１．１单个神经元首先我们以监督学习为例，对于一个有带标签的数据样本集（工（ｆ），Ｊ，（伪，神经网络算法通过建立一种具有参数Ｗ，ｂ的复杂非线性假设模型％．。（ｘ），使用这个假设模型拟合样本数据。我们将从最简单的单个神经元开始来讲述神经网络模型架构，下图是一个最简单的网络模型，它只包含有一个神经元，如图所示：Ⅸ五‰（ｘ）五＋１图２．Ｉ单个神经兀结构图这个单个神经元是一个运算单元，它的输入是训练样本而，Ｘ２，ｘ３，其中＋ｌ是一个偏置项。这个运算单元的输出结果是ｋ，６（功＝／（ｗ７功＝厂（∑毛Ⅵ薯＋６）。其中厂是这个神经元的激活函数，在本文中我们使用ｓｉｇｍｏｉｄ函数作为神经节点激活函数，它的公式如下：ｆ（ｚ）＝丽１（２－１）图２．１中单个神经元的输入和输出映射关系本质上是一个逻辑回归。我们也可以采用双曲正切函数（ｔａｎｈ）作为神经元的激活函数：舴）＝鼬∽＝筹以下分别为ｓｉｇｍｏｉｄ函数和ｔａｎｈ函数曲线图（２－２）图２．２Ｓｉｇｍｏｉｄ函数曲线图图２．３ｔａｎｈ函数曲线图ｔａｎｈ函数是ｓｉｇｍｏｉｄ函数的一种变体，ｔａｎｈ函数的输出值在【．１，１】区间内，ｓｉｇｍｏｉｄ函数的输出值在［０，１】区间。２．１．２神经网络所谓神经网络是指将多个单一神经元连接在一起，将一个神经元的输出作为１０下一个神经元的输入。下图所示即是一个简单的神经网络：‰（ｘ）Ｌａｙｅｒ厶Ｌａｙｅｒ厶图２．４神经删络结构图在上图中我们使用圆形来表示神经网络的单个神经节点，其中带有“＋１”标示的圆是神经网络的偏置节点，或者叫做截距项。神经网络最左边一层称为输入层，最右边的一层称为输出层。中问一层称为神经网络的隐藏层，它是由处于中间位置的所有神经节点组成。这是由于不能在神经网络训练过程中直接观测到它们的值。上图所示神经网络包含３个输入节点（偏置节点不计算在内），３个隐藏节点和一个输出节点。我们用啼表示神经网络层数，这个神经网络中臻＝３，将第Ｌ层记为，ｌ，那么，ｌ是输入层，‘是输出层。这个神经网络有参数（形，６）＝（形‘ｎ，６‘ｎ，形‘舶，６‘２’），其中吲７’是第，层第＿，节点与第¨?ｌ层第ｆ节点之间的联接权重参数，６ｊ（Ｄ是第ｚ＋ｌ层第ｉ节点的截距项。因此在本例中，形（１’∈吼粥，形（２）∈飒ｂｄ。偏置节点只与后项节点相连，没有前向节点，它的输出值总是＋ｌ。在此，我们将第，层的节点数表示＆（偏置节点不计算在内）。砖Ｄ表示第，层第ｉ节点的输出值。当ｆ＿ｌ时，砖１’＝‘，也就是第ｆ个输入值（输入值的第ｉ个特征）。对于给定参数集合Ｗ，６，神经网络就能够通过函数％．。（ｘ）来计算其输出结果。本例中给出的神经网络计算步骤如下：口ｆ２’＝厂（％（】’ｘｌ＋彬ｇ’ｘ２＋％２’而＋６ｆ＂）（２—３）趣２’＝厂（蹄搿’ｘｌ＋阿甾’Ｘ２＋阡嚣’ｘ３＋毯”）（２－４）（２—５）（２—６）ａ｛２’＝／（硝’而＋硝’ｘ：＋噔’而＋巧ｕ）‰．。（Ｘ）＝口ｆ３’＋／（彤Ｐ硝２’＋％孑’口ｉ２’＋彬芋’西２’＋研２’）将０７’用来表示第，层第ｉ节点的激活值（计算偏置节点的值），那么ｚ；２）＝ｙ：一，形？’ｘ，＋６ｊｎ，以上公式就可以简化为口：７）＝．厂（ｚ：，））。我们将激活函数．厂‘』一』一１ＶＪ‘’’’’。以向量的形式进行扩展为来表示，即／（［ｚｌ，ｚ：，ｚ，】）＝盯（毛），厂（ｚ：），ｆ（ｚＯ】。这样，上面等式可以更简洁地表示为：ｚ（２’＝ＷＯ）ｘ＋ｂ（１’（２．７）（２．８）（２－９）（２一ｌＯ）ａ‘２’＝厂（ｚ‘２’）∥＝Ｗ‘２’口（２’＋６（２’ｋ．６＠）＝口‘３’＝ｍ‘３’）上面的步骤就是神经网络的前向传播过程。前面我们用口（１）＝ｘ表示输入层的激活值，那么给定第，层的激活值口（１’后，第，＋１层的激活值口（Ｍ１就可以按照以下步骤计算得到：ｚＭ＝ＷＯ）ａｍ＋６（Ｊ）口ｏ＋１’＝ｆ（ｚｏ＋１’）（２．１１）（２．１２）将参数矩阵化，使用矩阵一向量运算方式，我们就可利用线性代数的优势将神经网络快速求解。２．１．３多层感知器（ＭＬＰ）目前为止，我们讨论了一种通用神经网络结构，我们也可以构建另一种结构的神经网络（这里结构指的是神经元之间的联接模式），也就是包含多个隐藏层的神经网络。最常见的一个例子是％层的神经网络，第１层是输入层，第ｎｔ层是输出层，中间的每个层，与层，＋１紧密相联。这种模式下，要计算神经网络的输出结果，我们可以按照之前描述的等式，按部就班，进行前向传播，逐一计算第１，