模型组成，这个系统后来被应用在美国超过百分之十的支票阅读上；再如微软开发的基于卷积神经网络的字符识别系统以及手写体识别系统[149]；近年来，卷积神经网络的一个重大成功应用是人脸识别[150]。而Mobileye和NVIDIA公司也正试图把基于卷积神经网络的模型应用于汽车的视觉辅助驾驶系统中。如今，卷积神经网络用于几乎全部的识别和检测任务，最近一个有趣的成果就是利用卷积神经网络生成图像标题。也正是因为卷积神经网络易于在芯片上高效实现[151][152]，许多公司如NVIDIA, Mobileye, Intel, Qualcomm 以及Samsung 积极开发卷积神经网络芯片，以便在智能手机，相机，机器人以及自动驾驶汽车中实现实时视觉系统。
虽然深度学习在理论和应用上取得了一定的进展，但仍有一些问题亟待解决。第一、深度学习模型都是非凸函数，理论研究存在困难。第二、深度学习模型训练耗时，需要设计新的算法进行训练，或者采用并行计算平台来加快训练速度。如何克服深度学习的局限性从而提高模型的性能是未来一段时间值得研究的问题。深度学习的动机源于脑科学。随着认知神经学的发展，科学家发现了许多与人脑动态学习相关的特性，如：神经元自组织特性、神经元之间的信息交互特性、人类认知的进化特性等，而这些特性将为深度学习模型的构建提供更多的启发，促进深度学习的进一步发展。是否能够利用认知科学的一些新进展，构造更好的深度学习模型也是值得我们探讨的问题。
目前，人类已经走进大数据时代。大数据是信息科技领域的研究热点。如何从大数据中挖掘出有价值的规律，为政府和企业的决策提供支持成为新一代信息技术亟需解决的问题。而以深度学习为代表的人工智能技术是大数据智能处理的关键算法。深度学习已经成功应用于各种领域。比如：在计算机视觉领域，深度学习已成功用于处理包含有上千万图片的Imagenet数据集。在语音识别领域，微软研究人员通过与Hinton合作，首先将深度学习模型RBM和DBN引入到语
33
音识别声学模型训练中，并且在大词汇量语音识别系统中获得巨大成功，使得语音识别的错误率相对减低30%。在自然语言处理领域，采用深度学习构建的模型能够更好地表达语法信息。
各大IT公司也非常关注深度学习的应用前景，纷纷成立相关的实验室。2012年，华为成立诺亚方舟实验室，运用以深度学习为代表的人工智能技术对移动信息大数据进行挖掘，寻找有价值的规律。2013年，百度成立深度学习研究院，研究如何运用深度学习技术对大数据进行智能处理，提高分类和预测等任务的准确性。国际IT巨头Google、Facebook等也成立了新的人工智能实验室，投入巨资对以深度学习为代表的人工智能技术进行研究。Hinton等多位深度学习的知名教授也纷纷加入工业界，以深度学习为支撑技术的产业雏形正逐步形成。
3.3 统计关系学习
传统机器学习模型假设数据是独立同分布的 (independent and identically distributed, iid)，也就是说，数据样本之间相互独立，不存在任何关系。然而，在很多实际应用中，尤其是最近出现的像Facebook、微信和微博这种社交网络应用中，数据样本之间是有关系的，也就是说，样本之间是不独立的。例如，互联网上网页之间存在超链接关系，学术论文之间存在引用关系，社交网络中的对象之间存在各种各样的关系，人与人之间存在着通信关系，蛋白质之间存在各种交互关系。我们把这种样本之间存在关系的数据叫做关系数据 (relational data)，把基于关系数据的机器学习叫做统计关系学习 (statistical relational learning, SRL)。由于关系数据在互联网数据挖掘、社交网络分析、生物信息学、经济学、恐怖和恶意行为预测、以及市场营销等各个领域不断涌现，统计关系学习已经成为一个具有重要科学意义和应用价值的研究课题[153]。
目前主流的统计关系学习方法可以大致分为以下五类[154]：基于
34
个体推理模型的方法(IIM), 基于启发式联合推理的方法（HCI）, 基于概率关系模型的方法（PRMs）, 基于概率逻辑模型的方法（PLMs），以及基于隐因子模型的方法(LFMs)。
基于个体推理模型的方法（IIM方法）从关系信息中抽取出特征，并将关系数据转化成适合传统机器学习算法的特征向量形式，然后用传统学习算法来进行分类。由于IIM方法忽略了关系数据中样本之间的相关性，分类性能往往比较差。另外，这类模型主要用于分类任务，而不适合于链接预测等其它统计关系学习任务。因此，IIM方法实用性不是很强；基于启发式联合推理的方法 (HCI方法)利用有关系的样本之间的相关性，采用启发式的循环迭代方式对多个样本同时进行分类。由于考虑了有关系的样本之间的相关性，这类方法在实际应用中取得了比IIM方法更好的分类性能。但是，HCI方法主要用于联合分类，而不适合于其它统计关系学习任务。因此，HCI方法的实用性也比较有限。
概率关系模型PRMs通过拓展传统的图模型来对样本之间的相关性进行建模[155]。典型的PRMs包括关系型贝叶斯网络（RBNs）、关系型马尔可夫网络(RMNs)和关系型依赖网络(RDNs)。基于概率关系模型的方法 (PRMs方法)从概率统计角度对关系数据进行建模，能很好地处理不完整和不精确数据。但是，学习一个图模型需要进行结构学习和参数学习。结构学习是对变量之间的各种依赖关系进行确定，是一个组合优化问题，因此复杂度非常高。另外，RMNs和RDNs的参数学习也没有收敛和快速的方法，实际应用中往往采用一些近似的逼近策略。因此，PRMs方法的一个主要缺点是学习速度慢，只适合于小规模数据的处理。
概率逻辑模型PLMs将概率引进一阶谓词逻辑，能够很好地对关系数据进行建模[156][157][158]。代表性的PLMs有概率Horn溯因(PHA),贝叶斯逻辑编程(BLP),马尔可夫逻辑网络（MLNs）。PLMs的底层建
35
模工具还是基于图模型，因此基于概率逻辑模型的方法（PLMs方法）也具有PRMs方法的学习速度慢的缺点，只适合于小规模数据的处理。基于隐因子模型的方法(LFMs方法)将统计学中的隐因子模型引进统计关系学习。其中，常用的矩阵分解算法对应于某个LFM的一个最大似然估计或者最大后验估计。因此，矩阵分解方法可以看成LFMs的一种特例。大部分LFMs方法具有相对于观察到的链接数的线性复杂度，学习速度远远超过PRMs方法和PLMs方法，能很好地对较大规模数据进行建模。因此，包括矩阵分解这个特例在内的LFMs方法已经发展成为目前统计关系学习算法的主流，具有比其他方法更广阔的应用前景。
近年来，大数据应用中的关系数据呈现出下面两个特性：（1）动态性：数据是随着时间的推移不断变化的，例如，在一个社交网络中，随着时间推移，可能有成员退出，也可能有新成员加入；（2）海量性：随着数据采集设备自动化程度的不断提高，很多应用中的数据已经从TB(TeraByte)级迅速发展到PB(PetaByte)级甚至更高的数量级，对这些超大规模数据（大数据或海量数据）的分析和处理将给统计关系学习研究带来极大的挑战。目前已有的统计关系学习方法不能很好地对动态关系数据进行建模和分析，因此，设计在线学习模型以实现对动态关系数据的有效建模是统计关系学习的一个研究热点[159]。另外，目前大部分统计关系学习模型都是集中式的，也就是说，都是基于单机实现的，无论在存储还是计算方面，都不能实现对海量数据的处理。因此，设计超大规模分布式学习算法以实现对海量关系数据的有效建模是另一个值得深入探索的研究热点[160]。此外，将统计关系学习理论和方法应用到知识图谱(knowledge graph)是最近发展起来的一个新的研究热点，已经引起了越来越多研究人员的关注[161]。
3.4 演化学习
演化学习基于演化算法提供的优化工具设计机器学习算法。演化
36
算法起源于上世纪50年代[162][163]，经过半个世纪的发展，今天广义的演化算法还包括模拟退火算法[164]、蚁群算法[165]、粒子群算法[166]等等，成为启发式优化算法的一个重要家族。演化算法通常具有公共的算法结构：
1. 产生初始解集合，并计算解的目标函数值；
2. 使用启发式算子从解集合产生一批新解，并计算目标函数值，并加入解集合；
3. 根据启发式评价准则，将解集合中较差的一部分解删除； 4. 重复第二步，直到设定的停止准则满足； 5. 输出解集合中最优的解。
不同的演化算法，主要在于其启发式算子、评价准则、停止准则等部件的设计不同。演化算法通常维护一个解的集合，并通过启发式算子来从现有的解产生新解，并通过挑选更好的解进入下一次循环，不断提高解的质量。可见，演化算法进行优化的过程不依赖于梯度等信息，也常被称为0阶优化方法、无梯度(derivative free)优化方法、黑箱优化方法等；也因此能够用于处理非凸、高度非线性、组合优化、目标函数未知等问题。演化算法已经被用在众多领域中，显示出演化算法解决复杂优化问题的优越性。在化学工业上，演化算法被用于设计化学反应控制，有效提高了反应产量[165]。在无线电制造领域，美国NASA Ames研究中心的研究者使用演化算法设计高性能天线，并强调演化算法能够突破人的思维局限，获得更好性能的天线设计[167]。演化算法领域的著名学者、美国Standford大学的Koza教授等人与2003年发表的文章[168]总结了由演化算法产生的“与人匹敌”的设计，涵盖了量子算法的设计、通讯协议的设计、机器人足球赛的应用、蛋白质鉴定的应用、滤波器的设计、电子电路的设计、天线的设计等等，并强调了演化算法的几项电路设计得到了比已登记的专利设计更好的性能。美国UCSC大学和NASA Ames研究中心的学者在Science[169]
37