基于卷积神经网络的深度学习算法与应用研究 - 图文(3)

域取得的重大突破。２０１２年，深度神经网络在图像识别应用方面也获得重大进展，在ＩｍａｇｅＮｅｔ评测问题中将原来的错误率降低了９％１１２］。同年，制药公司将深度神经网络应用于药物活性预测问题取得世界范围内最好结果，《纽约时报》也报道了这一显著成果１１３】。斯坦福大学机器学习教授ＡｎｄｒｅｗＮｇ是ＯｏｏｇｌｅＢｒａｉｎ项目领导者，致力于在谷歌推动深度学习算法的应用。２０１２年６月，ＡｎｄｒｅｗＮＯ带领的科学家们在谷歌神秘的ｘ实验室创建了一个有１６０００个处理器的大规模神经网络，包含数十亿个网络节点，让这个神经网络处理大量随机选择的视频片段。经过充分的训练以后，机器系统开始学会自动识别猫的图像。这是深度学习领域最著名的案例之一，引起各界极大的关注［１４】。如今谷歌、微软和百度等拥有大数据资源的知名高科技公司在深度学习领域纷纷加大投入，力争夺取该技术领域的制高点，在以后的竞争中抢占先机。在大数据时代，这正是由于他们看到了更加复杂强大的深度学习模型能从根本上揭示海量数据中潜在的复杂而又丰富的数据信息，并对即将发生的某些事件可能性做出更精确预测。深度学习和大数据处理工业界中一直广为流传的观点是：在大数据情况下，使用简单机器学习模型比复杂算法模型更有效。简单的线性回归模型是在大数据处理分析中用的最多的。而现在深度学习在各个领域取得的成果使人们对此观点有了新的认识。简而言之，大数据条件下，也许只有更复杂、表达能力更强的模型，才能充分挖掘出海量数据中隐藏的丰富信息。或许我们只有使用更强大的深度学习模型，才能从海量信息中寻找到更多有价值的潜在信息。我们以语音识别为例来说明上述观点。语音识别是一个典型的大数据机器学习问题，在语音数据声学建模过程中，通常需要处理数十亿以上规模的数据样本。谷歌公司曾进行过一个语音识别实验，在实验中深度神经网络对训练和测试样本数据预测误差相差不大【‘５】。这个结果和常识是相反的，在正常情况下深度模型对训练数据的误差通常会比测试数据的误差大得多。对此，只有一个合理解释，这是因为大数据样本里含有大量的信息维度，即使是像深度神经网络这样高容量的复杂模型对大数据样本也是欠拟合的，传统的混合高斯声学模型的效果更差，训练结果无法和大数据样本拟合。这也显示了深度学习对于大数据处理的重要性。浅层模型的一个重要特点是假设依靠人工经验预先提取出样本数据的特征，强调浅层模型主要职责是作出分类或预测。在浅层模型的运用不会出现差错的前提下，特征提取的好坏就成为左右整个模型系统性能的重要因素。为此，通常一个开发团队在提取更好的数据特征的工作上要花费更多的人力，这需要开发人员深入地理解待解决的问题才能对样本提取出合适的特征以便浅层模型进行处理。这需要反复地摸索才能达到这种程度，有时可能会花数年的时间，研究进度会大大延迟。因此，采用人工设计特征提取方式得到样本特征，是一个不可扩展的途径。深度学习本质上是构建含有多隐层的机器学习架构模型，通过大规模数据进行训练，得到大量更具代表性的特征信息。从而对样本进行分类和预测，提高分类和预测的精度【ｌ６１。这个过程是通过深度学习模型的手段达到特征学习的目的。深度学习模型和传统浅层学习模型的区别在于：１．深度学习模型结构含有更多的层次，包含隐层节点的层数通常在５层以上，有时甚至包含多达１０层以上的隐层节点；２．明确强调了特征学习对于深度模型的重要性，即通过逐层特征提取，将数据样本在原空问的特征变换到一个新的特征空问来表示初始数据，这使得分类或预测问题更加容易实现。和人工设计的特征提取方法相比，利用深度模型学习得到的数据特征对大数据的丰富内在信息更有代表性。所以，未来的发展趋势是深度学习模型在大数据分析中将得到更多的关注。１．２国内外研究现状深度学习极大地促进了机器学习的发展，受到世界各国相关领域研究人员和高科技公司的重视，语音、图像和自然语言处理是深度学习算法应用最广泛的三个主要研究领域，我们分别介绍深度学习在各个领域理论和应用层面的研究现状。１．２．１深度学习在语音识别领域研究现状长期以来，语音识别系统大多是采用混合高斯模型（ＧＭＭ）来描述每个建模单元的统计概率模型‘１７１。由于这种模型估计简单，方便使用大规模数据对其４训练，该模型有较好的区分度训练算法保证了该模型能够被很好的训练。在很长时间内占据了语音识别应用领域主导性地位。但是这种混合高斯模型实质上是一种浅层学习网络建模，特征的状态空间分布不能够被充分描述。而且，使用混合高斯模型建模方式数据的特征维数通常只有几十维，这使得特征之间的相关性不能被充分描述。最后混合高斯模型建模实质上是一种似然概率建模方式，即使一些模式分类之间的区分性能够通过区分度训练模拟得到，但是效果有限。从２００９年开始，微软亚洲研究院的语音识别专家们和深度学习领军人物Ｈｉｎｔｏｎ取得合作。２０１１年微软公司推出了基于深度神经网络的语音识别系统，这一成果将语音识别领域已有的技术框架完全改变【１８】。采用深度神经网络后，样本数据特征间相关性信息得以充分表示，将连续的特征信息结合构成高维特征，通过高维特征样本对深度神经网络模型进行训练。由于深度神经网络采用了模拟人脑神经架构，通过逐层地进行数据特征提取，最终得到适合进行模式分类处理的理想特征。深度神经网络建模技术，在实际线上应用时，能够很好地和传统语音识别技术结合，语音识别系统识别率大幅提升【１９１。国际上，谷歌也使用深层神经网络对声音进行建模，是最早在深度神经网络的工业化应用领域取得突破的企业之一。但谷歌的产品中使用的深度神经网络架构只有４．５层，与之相比百度使用的深度神经网络架构多达９层，正是这种结构上的差别使深度神经网络在线学习的计算难题得以更好的解决。这使得百度的线上产品能够采用更加复杂的神经网络模型这种结构差异的核心其实是百度更好地解决了深度神经网络在线计算的技术难题，因此百度线上产品可以采用更复杂的网络模型。这对将来拓展大规模语料数据对深度神经网络模型的训练有更大的帮助。１．２．２深度学习在图像识别领域研究现状对于图像的处理是深度学习算法最早尝试应用的领域。早在１９８９年，加拿大多伦多大学教授ＹａｎｎＬｅＣｕｎ就和他的同事们一起提出了卷积神经网络（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ）【２０】。卷积神经网络也称为ＣＮＮ，它是一种包含卷积层的深度神经网络模型。通常一个卷积神经网络架构包含两个可以通过训练产生的非线性卷积层，两个固定的子采样层和一个全连接层，隐藏层的数量一般至少在５个以上。ＣＮＮ的架构设计是受到生物学家Ｈｕｂｅｌ和Ｗｉｅｓｅｌ的动物视Ｓ觉模型启发而发明的，尤其是模拟动物视觉皮层Ｖ１层和Ｖ２层中简单细胞（ＳｉｍｐｌｅＣｅｌｌ）和复杂细胞（ＣｏｍｐｌｅｘＣｅｌｌ）在视觉系统的功能【１１１。起初卷积神经网络在小规模的应用问题上取得了当时世界最好成果。但在很长一段时间里一直没有取得重大突破。主要原因是由于卷积神经网络应用在大尺寸图像上一直不能取得理想结果，比如对于像素数很大的自然图像内容的理解，这使得它没有引起计算机视觉研究领域足够的重视。直到２０１２年１０月，Ｈｉｎｔｏｎ教授以及他的两个学生采用更深的卷积神经网络模型在著名的ＩｍａｇｅＮｅｔ问题上取得了世界最好成果，使得对于图像识别的研究工作前进了一大步１９】。Ｈｉｎｔｏｎ构建的深度神经网络模型是使用原始的自然图像训练的，没有使用任何人工特征提取方法。自卷积神经网络提出以来，在图像识别问题上并没有取得质的提升和突破，直到２０１２年Ｈｉｎｔｏｎ构建的深度神经网络才取得惊人成果。这主要是因为对算法的改进，在网络的训练中引入了权重衰减的概念，有效的减小权重幅度，防止网络过拟合。更关键的是计算机计算能力的提升，ＧＰＵ加速技术的发展，这使得在训练过程中可以产生更多的训练数据，使网络能够更好的拟合训练样本【２１】。２０１２年国内互联网巨头百度公司将相关最新技术成功应用到人脸识别和自然图像识别问题，并推出了相应的产品。现在深度学习网络模型已能够理解和识别一般的自然图像。深度学习模型不仅大幅提高了图像识别的精度，同时也避免了需要消耗大量的时间进行人工特征提取的工作，使得在线运算效率大大提升。深度学习将有可能取代以往人工和机器学习相结合的方式成为主流图像识别技术。１．２．３深度学习在自然语言处理领域研究现状自然语言处理（ＮＬＰ）问题是深度学习在除了语音和图像处理之外的另一个重要应用领域。数十年以来，自然语言处理的主流方法是基于统计的模型，人工神经网络也是基于统计方法模型之一，但在自然语言处理领域却一直没有被重视。语言建模是最早采用神经网络进行自然语言处理的问题。美国的ＮＥＣ研究院最早将深度学习引入到自然语言处理研究工作中，其研究人员从２００８年起采用将词汇映射到一维矢量空间方法和多层一维卷积结构去解决词性标注、分词、命名实体识别和语义角色标注四个典型的自然语言处理问题【２２１。他们构建了同一个网络模型用于解决四个不同问题，都取得了相当精确的结果。总体而言，深度学习在自然语言处理问题上取得的成果和在图像语音识别方６面还有相当的差距，仍有待深入探索。１．３存在的问题１．理论问题深度学习在理论方面存在的困难主要有两个，第一个是关于统计学习，另一个和计算量相关。相对浅层学习模型来说，深度学习模型对非线性函数的表示能力更好。根据通用的神经网络逼近理论，对任何一个非线性函数来说，都可以由一个浅层模型和一个深度学二；＝Ｊ模型很好的表示，但相对浅层模型，深度学习模型需要较少的参数。关于深度学习训练的计算复杂度也是我们需要关心的问题，即我们需要多大参数规模和深度的神经网络模型去解决相应的问题，在对构建好的网络进行训练时，需要多少训练样本才能足以使网络满足拟合状态。另外，网络模型训练所需要消耗的计算资源很难预估，对网络的优化技术仍有待进步。由于深度学习模型的代价函数都是非凸的，这也造成理论研究方面的困难。２．建模问题在解决深层学习理论和计算困难的同时，如何构建新的分层网络模型，既能够像传统深层模型一样能够有效的抽取数据的潜在特征，又能够像支持向量机一样便于进行理论分析，另外，如何针对不同的应用问题构建合适的深层模型同样是一个很有挑战性的问题。现在用于图像和语言的深度模型都拥有相似卷积和降采样的功能模块，研究人员在声学模型方面也在进行相应的探索，能不能找到一个统一的深度模型适用于图像，语音和自然语言的处理仍需要探索。３．工程应用问题在深度学习的工程应用问题上，如何利用现有的大规模并行处理计算平台进行大规模样本数据训练是各个进行深度学习研发公司首要解决的难题。由于像Ｈａｄｏｏｐ这样的传统大数据处理平台的延迟过高，不适用于深度学习的频繁迭代训练过程。现在最多采用的深度网络训练技术是随机梯度下降算法。这种算法不适于在多台计算机问并行运算，即使采用ＧＰＵ加速技术对深度神经网络模型进行训练也是需要花费漫长的时间。随着互联网行业的高速发展，特别是数据挖掘的需要，往往面对的是海量需要处理的数据。由于深度学习网络训练速度缓慢无法满足互联网应用的需求。７