基于卷积神经网络的深度学习算法与应用研究 - 图文(7)

接。这样大大降低了神经网络架构的参数规模。２．２－２权重共享在卷积神经网络中，卷积层的每一个卷积滤波器重复的作用于整个感受野中，对输入图像进行卷积，卷积结果构成了输入图像的特征图，提取出图像的局部特征。每一个卷积滤波器共享相同的参数，包括相同的权重矩阵和偏置项‘２８１。特征图像ｉｎ层／ｍ－１层Ｏ图２．７权重共享不葸图在上图中ｍ层特征图像包含３个神经元，不同的连接线之间权重参数是共享的，我们仍然可以用梯度下降法去学习共享权重参数，只需要对原有的梯度下降法做一个很小的改进，共享权重的梯度是共享连接参数梯度之和。共享权重的好处是在对图像进行特征提取时不用考虑局部特征的位置。而且权重共享提供了一种有效的方式，使要学习的卷积神经网络模型参数数量大大降低。２．２．３最大池采样另一个关于卷积神经网络的重要概念是最大池采样【２９１，它是一种非线性降采样方法。在通过卷积获取图像特征之后是利用这些特征进行分类。我们可以用所有提取到的特征数据进行分类器的训练，但这通常会产生极大的计算量。例如：对于一个４８ｘ４８像素的图像，假设我们通过在卷积层定义了３００个４ｘ４大小的卷积滤波器，每一个卷积核与图像卷积都会得到一个（４８—４＋１）×（４８．４＋１）维的卷积特征，由于有３００个特征，所以每个样例都会得到一个４５ｘ４５×３００：６０７，５００维的卷积特征向量。学习一个如此规模特征输入的分类器十分困难，很容易出现过拟合现象，得不到合理的结果。所以我们在获取图像的卷积特征后，要通过最大池采样方法对卷积特征进行降维。我们将卷积特征划分为数个ｎｘｎ的不相交区域，用这些区域的最大（或１Ｒ平均）特征来表示降维后的卷积特征。这些降维后的特征更容易进行分类。最大池采样在计算机视觉中的价值体现在两个方面：（１）它减小了来自上层隐藏层的计算复杂度（２）这些池化单元具有平移不变性，即使图像有小的位移，提取到的特征依然会保持不变。为了理解池化的不变性，我们假设有一个最大池层级联在卷积层之后。一个像素点可以在输入图像上的八个方向平移。如果最大池层的滤波窗口尺寸是２×２的，卷积层中一个像素往８个可能的方向平移，其中有三个方向会产生同样的输出。如果最大池层的滤波窗口增加到３×３，平移不变的方向会增加到５个。由于增强了对位移的鲁棒性，最大池采样方法是一个高效的降低数据维度的采样方法。２．２．４Ｓｏｆｔｍａｘ回归ＳｏＲｍａｘ回归是在逻辑回归的基础上扩张而来，它的目的是为了解决多分类问剐３０１。在这类问题中，训练样本的种类一般在两个以上。Ｓｏｆｔｍａｘ回归在类似ＭＮＩＳＴ手写数字识别问题中可以取得很好的分类效果，这个问题是为了对０－９这１０个手写数字进行区分。Ｓｏｆｔｍａｘ回归是有监督学习算法，它也可以与深度学习或无监督学习方法结合使用。在逻辑回归中，训练样本集由ｎ１个带标签样本构成：｛（ｘ‘ｎ，ｙＯ）），（ｘ‘２１，ｙ‘２’），．．．，（工‘…，Ｙ‘“’）），其中输入特征ｘ‘。’∈吼”１。（其中，特征向量ｘ的维度为ｎ＋ｌ，ＸＯ＝１为截距项）逻辑回归是为了解决二分类问题，因此分类标签为ｙ‘。’∈｛Ｏ，１）。假设函数如下：％（ｘ）２瓦面１面呵（２－２３）将训练模型参数目，使它能够最小化代价函数：Ｊ（口）＝一去［喜ｙ（ｉ）?。ｇ％伍。’，＋ｃ?一ｙ国，，。ｇｃ?一ｈ—ｃｘ回，，］。２．２４，在ｓｏｆｔｍａｘ回归中，我们需要面对的是多分类问题，类标Ｙ可以取ｋ个不同的值（ｋ＞２）。因此，对于训练集｛（ｘ‘ｎ，ｙ‘１’），（工‘２１，ｙ‘２’），．．．，（ｚ‘…，ｙ‘”’）），有ｙ（’’∈｛１，２，．．．，七）。例如，在ＧＴＲＳＢ交通标示识别问题中，有ｋ＝４３个不同的分类。对于训练样本Ｘ，我们用假设函数对每一个类别ｊ估算出概率值Ｐ（Ｙ＝Ｊｘ）。也就是估计样本ｘ被划归为每一种分类结果的可能概率。因此，假设函数将要输出一个ｋ维向量来表示这ｋ个估计的概率值，这些向量元素之和为１。那么假设函数％（ｘ）可表示为：Ｐ（Ｙ国＝１Ｉｘ（０；口）Ｐ靠ａ）ｌｈｏ（ｘ６’１＝ｐ（ｙ回＝２Ｉｘｏ’；臼）ｅ西删∑０巧一ｐ（ｙ６’＝ｋＩｘ６’；椤）（２－２５）其中钆幺，．．．，吼∈彤“是模型参数。艺：≥万项是为了对概率分布进行归一化处理，使所有概率的和等于１。我们使用符号口对所有模型参数进行表示，在Ｓｏｆｌｍａｘ回归实现中，将占用一个ｋｘ（ｎ＋１）的矩阵表示，这个矩阵是将Ｂ，幺，．，嚷按行罗列得到，如下所示：口＝（２－２６）Ｓｏｉｌｍａｘ回归代价函数现在我们对ｓｏｆｔｍａｘ回归代价函数进行分析。在下面公式中，１｛?）是示性函数，它ｔ艇＿ｇｔ规则为：１（表达式的值为真）＝１，１｛表达式的值为假｝＝Ｏ。代价函数可表示为：删卜搬抄一灿ｇ参］ｐ２７，这个公式是逻辑回归代价函数的推广。逻辑回归代价函数可以以同样的方式表示：印）一击巨甲）ｌｏｇ（１－ｈ∥）））＋ｙＯ）ｌｏｇ％妒）］＝一！ｍ『－Ｌ艺ｉ＝ｌ壹ｊ＿－ｏ，ｔｙ（ｉ）＝，，－。印＠国＝，Ｉｘ‘ｉ）；目，］累加。在Ｓｏｆｌｍａｘ回归中将样本ｘ分类为类别Ｊ的概率为：ｃ２－２８，从以上公式可以看出，Ｓｏｆｔｍａｘ回归代价函数与逻辑回归代价函数有很相似的表示形式，不同的是在Ｓｏｆｂｎｌａｘ回归代价函数中对ｋ个可能分类的概率值进行ｐ＠。１＝ｊＩｘ。）．目）３参‘２－２９）对于代价函数最小化问题，现在还没有快速解法。通常都是使用迭代优化算法。对代价函数求导后，代价函数的梯度公式如下：Ｖ。删一去善敝１｛ｙ∞＝ｊ）一划。刮ｘｔｉｈｏ））］（２－３０）Ｖ。，＠）本身是一个向量，它的第，个元素号导是－，（目）对够的第，个分量的偏导数。得到以上求解偏导数公式后，就可以将它代入梯度下降法算法中，对代价函数，（曰）进行最小化。在梯度下降法的实现中，每次迭代过程中都需要对参数进行更新：ｇ＝９一ａＶ以Ｊ（目）（－『＝１，２，．．．，七）。在实现ｓｏｆｌ＝ｒｎａｘ回归算法时，通常会对上面的代价函数进行改进，在代价函数中增加一个衰减项【３ｌ】。在本文对代价函数的改进中，我们通过在式（２—２７）中添加一个权重衰减项ｉ／ｚ厶ｋ己ｎ％２，它会对过大的参数值进行惩罚。回归代价函数公式将变为如下形式：删卜擂扣“钏崦参，＋害善ｋ萎ｎ爵化过程中陷入局部收敛，能够得到最优解。陋３ｔ，增加了第二项权重衰减项后，代价函数就成为一个凸函数，这样就防止了优为了对其进行优化，我们需要计算ｌ，（曰）的导数，在此给出它的求导公式如Ｖ私垆一去争（ｉ）（１｛ｙ（ｉ）－－－－ｊ）＿∥）＝ｊｌｘ０）；Ｏ））】＋五嘭２．２．５卷积神经网络整体架构（２－３２）最后，通过最小化代价公式Ｊ（ａ），就可以实现ｓｏｆｔｍａｘ回归分类模型。卷积神经网络是一种多层的监督学习神经网络，隐含层的卷积层和池采样层是实现卷积神经网络特征提取功能的核心模块。该网络模型通过采用梯度下降法最小化损失函数对网络中的权重参数逐层反向调节，通过频繁的迭代训练提高网络的精度【３２】。下图是卷积神经网络整体架构图。（ｓ１）４：特征图像（ｓ２）６：特征图像卷积子采样卷积子采样ｌ全连接ＭＩ。Ｐ图２．８卷积神经网络整体架构图卷积神经网络的低隐层是由卷积层和最大池采样层交替组成，高层是全连接层对应传统多层感知器的隐含层和逻辑回归分类器。第一个全连接层的输入是由卷积层和子采样层进行特征提取得到的特征图像。最后一层输出层是一个分类器，可以采用逻辑回归，ｓｏｆｔｍａｘ回归甚至是支持向量机对输入图像进行分类。本文第四部分构建的卷积神经网络就是采用ｓｏｆｌｍａｘ回归对交通标示图像的特征进行分类。