基于卷积神经网络的深度学习算法与应用研究 - 图文(5)

表４．３卷积神经网络用于彩色图像分类的结果畸变Ｔ（％）０５５误识率（％）Ｒ（ｏ）００１０５Ｓ（％）００１０５１０Ｎｏ±１盯±２盯ＣＬＡＨＥ２．８３１．７６１．４１２．９８２．１ｌ１．９９１．８０１．８８２．７８１．９１１．６１１．８５１．５８２－３２１．４２１．８６１．４２１．３７１０１０１．８８１．６６１０从结果日Ｊ以看出卷积神经删络在处理彩色空间图像上的识别效果要优于灰度图像。对图像进行对比受限直方图均衡化预处理要比其他两种方法处理后的识别临床更高。增加对图像位移，尺度和旋转的畸变程度，训练效果会逐渐增强，对交通标示图像的误识率也会逐渐降低。通过以上实验我们得到了１．３７％的最低误识率。为了展示卷积神经网络的工作机制，我们图形化了卷积神经网络第一层的在训练过程中得到的权重，为了展示方便，我们采用９ｘ９尺寸的卷积滤波器对输入图像进行卷积，学习到的滤波器对应输入图像的点，边缘和其他特征。■蘸翟麓蔫曛曩曩誓一露曩藿鼍懑■唆囊圈阅譬篮曩圈濯■薯麓瑟函麓鬟■囊羹曩量露爨甏叠匿鬣戆一豳鬟霸鬟黑赡翟翻鬣曩誓豳鬈囊囊曩一翻囊翻盈霸盈譬霸蘩震翟圈氍■墨鬣霸囊重爨蟹曩誓曩麓濯■蘸曩蠢愚浔■誓曩圈翳疆图４．３卷积滤波器参数可视化示意图卷积神经网络第一个卷积层学习得到的卷积滤波器，输入图像的３个ＲＧＢ彩色通道图像通过３００个９ｘ９大小的卷积核和下一层１００个经过卷积产生的输出图像连接。每一个展示的滤波器图像都是３个ＲＧＢ彩色．通道对应的卷积滤波器的叠加。４．１．６卷积神经网络和多层感知蠢结合的实验结果本实验中我们通过ＧＴＳＲＢ提供的图像特征样本去训练多层感知器用于交通标示识别问题【４３１，这是因为这些图像特征样本提供了额外信息，弥补了卷积神经网络只使用原始图像进行训练带来的信息遗漏。由于采用ＨＵＥ特征训练多层感知器产生的识别率不够充分，我们只采用ＨＯＧ和ＨＡＡＲ特征用于多层感知器的训练。我们构建了三种不同的多层感知器，从结果可以看出卷积神经网络在处理彩色空间图像上的效果要优于灰度图像。ＭＬＰｌ包含一个有２００个神经元的隐藏层，ＭＬＰ２包含一个由５００个神经元组成的隐藏层，ＭＬＰ３包含两个隐藏层，分别由５００个和２５０个神经元组成。多层感知器采用共轭梯度下降法训练１矧，结果如下表４．４多层感知器分类结果表４．４多层感知器分类结果ＨｏＧ０１ＨＯＧ０２４．５５ＨＯＧ０３５．９６５．７８５．８８ＨＡＡＲ１２．９２１２．３４ｌＯ．９４ＭＬＰｌＭＬＰ２ＭＬＰ３６．８６６．７７７．１８４．５８４．８４通过ＨＯＧ特征训练得到的三种多层感知器的识别效果差别并不大，由于ＨＡＡＲ特征是是高维特征（１１５８４维），所以需要更加复杂的多层感知器进行训练，这需要更长的训练时间和更好的机器性能，所以我们并不采用通过ＨＡＡＲ特征训练的多层感知器。由于卷积神经网络和多层感知器都是计算图像的近似后验分类概率【４５１，我们可以引入投票机制，将卷积神经网络和多层感知器的输出加上一个权重系数，通过训练对两个分类器的权重进行调节，得到系统最终的分类结果。我们将采用畸变和限制对比度直方图均衡化处理的原始图像训练得到的卷积神经网络和采用三种ＨＯＧ特征训练得到的多层感知器结合进行分类实验，各种不同组合架构的错误识别率结果如下所示表４．５卷积神经网络和多层感知器结合的分类结果ＨＯＧ０ｌＨＯＧ０２ＨＯＧ０３ＭＬＰｌ／ＣＮＮ０．９５０．９２１．０ｌＭＬＰ２／ＣＮＮＯ．９５１．０００．９７ＭＬＰ３／ＣＮＮ０．９５０．９６０．９２采用卷积神经网络和ＭＬＰ３相结合的分类方法取得的最低误识率为Ｏ．９２％。最终的错误分类交通标示图像如图所示，左边是卷积神经网络在取得１．３７％正确识别率的误分类图像，右图是卷积神经网络和多层感知器结合的误分类图像。从图中可以看出，大部分被错误识别的交通标示受到光照和畸变等因素影响较大，肉眼也很难分清。图４．４本实验最终误分类图像４．２基于多列深度卷积神经网络的交通标示识别系统在卷积神经网络和多层感知器相结合的交通标示识别系统中，我们使用了原始图像和特征提取图像训练神经网络。每次对采集到的图像进行识别之前都要对图像进行特征提取，这样大大降低了系统的实时性。在本部分我们构建了一个多列深度卷积神经网络（ＭＣＤＮＮ）用于交通标示识别，训练过程中只采用采集到的原始图像，识别过程中也只采用原始图像进行识别，省去了人工特征提取过程，使系统实时性和实际可用性大大增加。４．２．１单个深度卷积神经网络的构建我们在上一个实验中的卷积神经网络的基础上进行改进构建一个深度卷积神经网络用于交通标示识别问题。深度卷积神经网络的基本架构和卷积神经网络相同，都是由一系列卷积层和最大池层交替组成，每一层只和前一层的神经元节点相连接，分层的特征提取将原始图像的输出转化成一维的特征向量，再经过２层全连接层进行分类。不同的是我们对它的训练过程进行了优化，初始化参数的设置也更有利于交通标示识别问题。所有的参数在训练过程中通过最小化误分类概率进行优化。厶一全连接层厶一全连接层厶一最大池层／厶－卷积层秒妒Ｍ２Ｍ：厶一最大池层厶一卷积层ＭｊＭ１¨入珀■Ｍ。每一个卷积层对上一层的Ｍ州幅输入图像通过霹×霹大小的卷积核进行卷积，对图像的特征进行提取。Ｍ”幅输出图像是由Ｍ柚个图像卷积响应的和经过非线性激励函数计算得到的。ＭＨ譬＝／（∑Ｊ：一｝町＋ｂ；）ｆ＝ｌ上式中，ｎ标示层数，Ｙ代表大小为坂ｘＭｙ大小的图像，％是尺寸大小为鲜×碍大小的滤波器连接输入图像的第ｉ幅图像和输出图像的第Ｊ幅图像，术代表二维卷积运算。对于一个尺寸为肘：。１×Ｍ７１大小的输入图像】，一，经过一个尺寸为霹×Ｆ的滤波器ｗ卷积后得到的输出图像Ｙ４的尺寸为蝉＝孵１一霹＋１，蟛＝蟛一一郦＋ｌ。式中Ｆ是Ｍ“幅输入图像卷积响应的和的激励。深度卷积神经网络中，采样层依然采用最大池采样方法，分类层选用ｓｏｆｔｍａｘ回归作为分类任务的激励函数。４．２．２单个深度卷积神经网络的调练过程图４．６单个深度卷积神经网络的训练过程示意图训练样本集包含２６６４０幅训练图像样本，测试样本集中包含１２５６９幅测试图像样本。在训练开始时进行图像预处理（Ｐ），在训练过程中每一个训练周期进行畸变处理（Ｄ）。图像预处理过程中，将１５×１５到２５０ｘ２５０大小不等的原始彩色交通标示图像归一化为４８ｘ４８统一大小的图像。对交通标示部分进行居中处理，最终得到方形带有１０％边框的正方形训练图像。这样有利于深度神经网络的训练。为了使神经网络卷积层提取出图像的更显著特征，我们需要提高图像的对比４２