基于卷积神经网络的深度学习算法与应用研究 - 图文(2)

目录摘要…………………………………………………………………………………ＩＡＢＳＴＲＡＣＴ……………………………．．．．．．．……．…．．．．．……………．．…………．……………．…………ＩＩＩ目录…………………………………………………………………………………………………………．．ＶＩ第一章绪论………………………………………………………………………一ｌ１．１课题研究背景和意义………………………………………………………一１１．２国内外研究现状……………………………………………………………．．４１．２．１深度学习在语音识别领域研究现状…………………………………．４１．２．２深度学习在图像识别领域研究现状…………………………………．５１．２．３深度学习在自然语言处理领域研究现状……………………………．６１．３存在的问题…………………………………………………………………～７１．４本文主要内容………………………………………………………………．．８第二章人工神经网络和卷积神经网络的结构及算法……………………………９２．１人工神经网络………………………………………………………………．．９２．１．１单个神经元……………………………………………………………９２．１．２神经网络………………………………………………………………１０２．１．３多层感知器（ＭＬＰ）………………………………………………．１２２．１．４反向传导算法………………………………………………………一１３２．２卷积神经网络………………………………………………………………１７２．２．１稀疏连接……………………………………………………………一１７２．２．２权重共享………………………………………………………………１８２．２－３最大池采样…………………………………………………………。１８２．２．４Ｓｏｆｈｎａｘ回归…………………………………………………………１９２．２．５卷积神经网络整体架构……………………………………………。２２第三章基于手写数字识别的卷积神经网络性能研究……………………………２３３．１ＭＮＩＳＴ手写数字识别库简介………………………………………………２３３．２卷积神经网络构造和改进方法……………………………………………２３３．２．１卷积神经网络模型－－（ＣｏｎｙＮｅｔ－１）…………………………………２５Ⅵ３．２．２卷积神经网络模型一－（ＣｏｎｖＮｅｔ－２）…………………………………２５３．２．３卷积神经网络模型一＝（ＣｏｎｖＮｅｔ－３）…………………………………２６３．３实验结果……………………………………………………………………．２７３．３．１ＬｅＮｅｔ－５网络模型的实验结果………………………………………．２７Ｎｅｔ一１网络模型的实验结果…………………………………～２９Ｎｅｔ－２网络模型的实验结果……………………………………３０３．３．２Ｃｏｎｖ３．３．３Ｃｏｎｖ３．３．４ＣｏｎｖＮｅｔ．３网络模型的实验结果……………………………………３ｌ３．４实验结果对比分析…………………………………………………………３２３．５本章小结……………………………………………………………………３３第四章卷积神经网络在交通标示识别中的应用…………………………………３４４．１卷积神经网络和多层感知器相结合的交通标示识别系统………………３４４．１．１卷积层的构建………………………………………………………．．３４４．１．２采样层的构造方法…………………………………………………～３５４．１．３分类层的构建………………………………………………………．．３５４．１。４图像预处理…………………………………………………………．．３５４．１．５卷积神经网络实验结果……………………………………………。３６４．１．６卷积神经网络和多层感知器结合的实验结果………………………３９４．２基于多列深度卷积神经网络的交通标示识别系统………………………４０４．２．１单个深度卷积神经网络的构建……………………………………。４ｌ４．２．２单个深度卷积神经网络的训练过程………………………………．．４２４．２．３构建多列深度卷积神经网络………………………………………一４４４．２．４多列深度卷积神经网络实验结果…………………………………一４５４．３实验结果对比分析…………………………………………………………４７４－４本章小结……………………………………………………………………４８第五章总结和展望…………………………………………………………………４９５．１工作总结……………………………………………………………………４９５．２展望…………………………………………………………………………………………………．５０参考文献……………………………………………………………………………一５ｌ本文作者硕士期问的科研成果……………………………………………………。５５ＶⅡ致谢…………………………………………………………………………………………………………．．５６独创性声明……………………………………………………………………．．５７ＶＩＵ第一章绪论本章首先介绍了本课题的背景、研究意义和国内外研究现状，主要介绍深度学习的发展历程和国内外研究现状，然后介绍了深度学习存在的问题和不足之处，最后概述本文的主要工作。１．１课题研究背景和意义深度学习是机器学习的一个分支领域。而在很多情况下，机器学习几乎成了人工智能的替代概念。简单地说，就是通过机器学习算法，使计算机有能力从大量已有数据中学习出潜在的规律和特征，以用来对新的样本进行智能识别或者预期未来某件事物的可能性【１】。自上世纪１９８０年代以来，从机器学习算法模型层次结构的角度来看，机器学习的发展历程大致经历了两个阶段：浅层学习阶段和深度学习阶段【２】。应该指出的是，机器学习的历史发展阶段划分问题并不是只有唯一的答案，从不同的角度看也会得到不同结论。第一个发展阶段：浅层学习（ｓｈａｌｌｏｗｌｅａｒｎｉｎｇ）上世纪１９８０年代后期，反向传播算法（即ＢａｃｋＰｒｏｐａｇａｔｉｏｎ算法，简称ＢＰ）的出现及其在人工神经网络学习过程中的应用１３】，极大推进了机器学习的发展，引领了基于统计机器学习模型的发展浪潮。这个热潮一直延续至今。研究人员发现，反向传播算法的采用，可以使人工神经网络模型在训练过程中自动修正自身参数，使得网络模型能够更大程度拟合训练数据，从而通对使用大量的训练样本对神经网络进行训练学习得到统计规律，以预测未知事件的可能。和以往基于人工规则的方式相比，这种基于统计规律的机器学习模式在诸多方面显示出极大优越性。尽管这个时期的人工神经网络也可以称为多层感知器（ＭｕｌｔｉｌａｙｅｒＰｅｒｃｅｐｔｒｏｎ）【４】，但实际上它是一种浅层模型只包含一层隐藏层节点。进入１９９０年代以后，各种浅层机器学习模型陆续问世，比如最大熵法（如ＬｏｇｉｓｔｉｃＲｅｇｒｅｓｓｉｏｎ，逻辑回归）１５］Ｂｏｏｓｔｉｎｇ【６｜、支持向量机（ＳＶＭ，ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅｓ）１７］等。这些机器学习模型架构大都可以看作不含隐藏层节点（如逻辑回归），或只有一层隐层节点（如Ｂｏｏｓｔｉｎｇ、ＳＶＭ）。此类模型无论是在理论研究上还是在实际应用中都取得很大成功。然而与之相反的是，浅层人工神经网络由于在理论分析上存在的困难，网络模型在训练过程中需要特定的技巧和很多经验知识，所以在这个阶段浅层人工神经网络的发展显得相对落后。进入２１世纪以后，随着互联网的快速发展，人们可以接触到越来越多的信息，大型互联网企业每天也会产生海量的数据。于是如何从海量数据提取出高价值的信息成为人们需要面对的问题，这使得对大量数据进行智能分析和预测成为一种迫切需求。这个时期，浅层学习算法模型在很大程度上满足了这种需求，在互联网应用领域取得巨大成功。其中最成功的应用有网页搜索排序系统（如微软ｂｉｎｇ和雅虎的搜索引擎）、搜索广告系统（如百度的“凤巢”和谷歌的ＡｄＷｏｒｄｓ）、内容推荐系统、广告点击率预估、垃圾邮件过滤等【８】。第二个发展阶段：深度学习（ｄｅｅｐｌｅａｒｎｉｎｇ）２００６年，机器学习大师、多伦多大学教授ＧｅｏｆｆｒｅｙＨｉｎｔｏｎ及其学生Ｒｕｓｌａｎ发表在世界项级学术期刊《科学》上的一篇论文引发了深度学习在研究领域和应用领域的发展热潮［９１。这篇文献提出了两个主要观点：１．多层人工神经网络模型有很强的特征学习能力，深度学习模型学习得到的特征数据对原数据有更本质的代表性，这将大大便于分类和可视化问题；２．对于深度神经网络很难训练达到最优的问题，可以采用逐层训练方法解决。将上层训练好的结果作为下层训练过程中的初始化参数。在这一文献中深度模型的训练过程中逐层初始化采用无监督学习方式。自２００６年起，学术界对于深度学习的研究持续升温。加拿大多伦多大学、蒙特利尔大学和美国纽约大学、斯坦福大学等成为深度学习的研究重镇。２０１０年，深度学习项目首次获得来自美国国防部ｆ－ｊＤＡＲＰＡ计划的资助，参与方有美国ＮＥＣ研究院、纽约大学和斯坦福大学【１０１。大脑神经系统是由丰富的层次结构组成，这是深度学习获得支持的一个重要理论依据。Ｈｕｂｅｌ和Ｗｉｅｓｅｌ通过对猫的视觉系统进行了大量实验的基础上揭示了视觉神经系统的运作机理，也因此获得１９８１年的诺贝尔生理学或医学奖【１１１。而在仿生角度之外，由于数学论证的难度和深度模型的复杂度，关于深度学习理论方面的研究工作现在还停留在初始阶段。但在工程应用方面深度学习模型已显现出极大潜力。自２０１１年起，谷歌和微软研究院的语音识别方向研究专家先后采用深度神经网络技术将语音识别的错误率降低２０％．３０％，这是长期以来语音识别研究领