河南工业大学硕士学位论文
力于该方面的研究，主要有以下两方面的原因：首先是现有的一些问题用二维图像的方法不能很好地解决。在人脸识别方面，最终识别效果主要是由表情变化问题来决定，如果充分利用三维信息来识别三维人脸模型，将会大大提高人脸识别的准确率和鲁棒性。其次，三维人脸模型被广泛应用于社会生活的各个领域，具有广阔的应用前景。目前，三维人脸模型已经普遍应用于科教、娱乐、医疗和安全检测等多个领域，而且随着计算机技术和科学技术的发展，三维人脸模型将会有越来越广阔的应用前景。在尽可能地减少人工干预的条件下，创建精确、生动逼真的三维人脸模型，这是本文的研究重点，旨在创建一些高效而简捷的方法来解决这些问题。
1.2 研究意义
许多研究者充分利用计算机在处理图像图形处理方面的优良性能，他们用计算机来模拟和演示三维人脸模型并取得了很大成就。人脸动画已经从传统的关键帧技术发展到表演驱动技术。从可视电话到游戏娱乐，从多通道用户界面到虚拟现实，到处都体现着人脸建模与动画的技术[2]。而且人们对利用计算机进行三维人脸建模的效果和质量要求也越来越严格，人们不再仅仅满足于动作僵硬、表情呆板、背景单调的三维人脸及其动画，建模精确度高、模型表情丰富逼真的建模技术是该领域的研究者们共同追求的目标。
三维人脸建模系统的选择与其所面向的应用领域密切相关，不同的应用领域具有不同的选择标准。三维人脸建模技术主要应用于以下几个方面。
(1)影视制作 影视中虚拟主持人与虚拟演员的制作是三维人脸建模与动画技术在娱乐方面最明显的应用。专业的影视制作人员一直在不断寻找最优的三维建模技术，从而给观众带来最佳的视觉盛宴。从几年前的我国的《宝莲灯》到近期的《乐火男孩》，以及美国最近的电影《阿凡达》等，都充分体现了三维人脸建模技术的非凡魅力。
(2)人机交互界面 目前的计算机虽然在容量空间、处理速度方面有了突飞猛进的发展，可以基本满足社会生活的需要，但计算机主流界面GUI/WIMP的设计风格却不能令广大用户满意。人们所期待的人机界面是比图形用户界面具有更简单、更自然、更友好、更一致的界面设计风格。Morishima和Welsh等人将发展理想的用户界面作为他们研究的一个长远而重要的目标[3]。三维人脸建模技术是人机交互领域的一个研究热点，它可以实现多通道、多媒体的智能化的人机交互。
(3)游戏娱乐 自出现三维游戏以来，三维人脸建模技术就在游戏制作中占有重要的地位。在三维游戏中，丰富多彩的背景、栩栩如生的人物形象都会让玩家惊叹不已，随着三维建模技术的成熟，将会推出更多更好的三维游戏，而且在不久的将来，在游戏
2
基于二维图像的三维人脸建模技术研究
中可以允许玩家随意更换角色造型，还可以把自己的形象放进游戏中任意驰骋。这一切将归功于三维人脸建模技术。
(4)通讯领域 自从电话进入人们的生活后，给人们带来很大的方便，它已经成为人们日常生活的一个重要组成部分，但普通电话只是声音的传递工具，随着生活水平的提高，人们希望通话的同时可以看到对方。如果说普通电话是“顺风耳”的话，那么可视电话既是“顺风耳”又是“千里眼”了，它是一种语音通信和多媒体通信相结合的产物。虽然目前有多家通信公司推广可视电话业务，而在通讯产品市场上也有很多成型产品在出售，但由于传统的窄带技术无法满足网络对带宽和最大用户数量的要求，再加上该产品高昂的通讯费用，因而还没有普及开来。
(5)医学领域 在医学领域中，三维人脸建模技术主要适用于心理与行为研究和面部美容手术整形治疗等方面。不断成熟的三维人脸建模技术为心理学家进行心理活动和面部运动的研究提供了实验基础。心理学家能够在计算机上利用三维模型来完成他们的实验，这比用真人进行研究更加方便快捷；在进行面部整形手术之前，可以利用三维模型来模拟手术过程和手术结果，以得出合理的手术方案，以最大程度的降低手术风险。
（6）计算机辅助教学 三维人脸建模技术可以应用到计算机辅助教学中。学生可以随时随地与类似真人的虚拟老师进行互动学习，营造良好的学习氛围，增强了学生的学习积极性。特别是当学生听力或语言表达能力方面有缺陷时，只要预先设定程序，学生可以在人脸动画技术的支持下，一遍遍的跟这位虚拟老师学习。
（7）人脸识别 人脸识别技术属于生物特征识别技术，是对生物体本身的特征来区分生物个体。经过很多专家学者坚持不懈的努力，在人脸识别领域已经取得了很大成就。特别是近些年来，三维人脸识别技术已经逐渐成熟，与二维人脸识别相比，它具有更高的精确性和鲁棒性，而且也具有更广阔的应用前景和更大的市场潜力，因而它必定会成为研究的热点方向。
总之，作为计算机视觉领域倍受关注的热点，真实感三维人脸建模技术的研究，不仅具有较高的理论研究价值，而且更具有潜在的实际应用价值。
1.3 国内外研究现状
1.3.1国外研究现状
1972年Parke[4]制作了世界上第一个人脸参数模型，人脸参数模型的基本原理是利用不同参数来描绘不同的人脸表情特征。人脸的表情特征会随着参数的变化而改变。
3
河南工业大学硕士学位论文
Parke首次利用计算机来模拟三维人脸模型，他使用将近400个顶点组成的250个多边形来表示人脸皮肤，采用余弦插值算法计算连续表情的中间图像，从而实现人脸表情动画。此后，许多专家学者在该领域进行了更深层次的研究工作。
当前，使用最为广泛的三维人脸模型是统计模型和网格模型。美国宾夕法尼亚大学的DeCarlo[5]等人利用人体测量学知识，在人的头部标定一些能表现人物个性特征的特征点，然后根据人体测量方法测量特征点，同时确定特征点之间的关系。对这些测量数据利用变分技术进行处理，最后利用Ｂ样条曲面表示三维模型。瑞典Linkoping大学的Image Coding Group[6]在2001年发布了最新版本CANDIDE-3,该三维模型包含113个特征点和168个三角面片，此模型几何结构简单，可以简捷地表示人脸的细节特征和面部动作，被普遍地应用于网络视频传输方面。微软研究院Zhang和Liu[7]等人在艺术家的帮助下，构造了一种中性人脸网格模型。这种模型包含了360个三角平面和194个特征点，而且构建了65个可调向量，这些向量可用于调整模型的形变。
三维数据信息可以通过物理设备激光扫描仪获取。而且它可以同时获取模型的几何结构信息和纹理信息，也是获取距离数据的一个准确有效的手段，许多研究小组已经开始使用此设备进行科学研究。德国学者Blanz和Vette[8]创建了一个包含三维距离信息和表面纹理信息的头部数据；康柏剑桥研究所的Waters[9]等人利用激光扫描系统获取的三维数据信息进行三维头部建模。多伦多大学的Lee[10]等人利用激光扫描仪获取的三维几何数据信息和纹理信息，通过变换通用人脸网格模型构建特定人脸模型。根据三维数据创建的三维人脸模型具有较高的真实度，但该方法建模成本高，算法不容易实现，同时对三维数据的精度要求很高，当前还不容易实现。
基于二维图像的三维人脸建模，利用普通相机拍摄的二维图像为基础进行三维人脸建模。华盛顿大学的Pinhin[11]等人采用多幅图像变形三维通用人脸模型，他们使用的通用模型是Toronto大学的线框模型。其具体方法是：首先在图像上用手工标定若干个特征点，然后根据特征点的位置信息来调整通用模型。整个调整过程包括三部分：首先利用计算机视觉技术标定相机的定标参数和各个图像的变形参数，并且计算出各个特征点的三维空间坐标；然后，利用散乱数据插值技术，根据特征点的位置来调整非特征点的位移；最后，对模型进行微调，在模型的顶点之间和图像的对应点之间插入附加点，得到具有真实感的三维人脸模型。基于图像的三维人脸建模方法建模效率高，图像容易获取，但是往往由于三维数据存在噪声问题，降低了建模的精确度，同时建模时图像之间特征匹配的精确度也直接影响建模的效果，具体实现时有一定难度。现有的技术多处于理论研究的探索阶段。该方法需要的硬件设备比较简单，但对算法的要求较高。
4
基于二维图像的三维人脸建模技术研究
1.3.2 国内研究现状
国内在该领域起步较晚，最早的三维人脸建模研究始于上世纪90年代末，经过近些年的研究，国内不少研究者也对人脸建模和动画技术抱有浓厚的兴趣，不同的研究机构在该领域作了许多研究工作。中国科学技术大学、中国科学院计算技术研究所、清华大学、中国科学院自动化研究所和浙江大学等在获取三维人脸数据和三维人脸建模方面都取得了一定的成就。中国科技大学根据正侧面人脸图像构建了三维人脸模型并建造了基本的面部表情动画[12]；中科院计算技术研究所在表情分析与识别研究中获得不错的效果[13]；清华大学采用三角样条曲面进行面部建模和动画研究，取得了一些成果[14]；中科院自动化研究所使用激光扫描仪获取三维数据，为后续建模工作奠定了基础[15]。浙江大学CAD&CG国家重点实验室在曲线/曲面建模、真实感图形绘制、计算机动画等方面取得了很大成就。但当前国内实际应用还涉及比较少，还只仅限于理论研究。所以现在越来越趋向于综合多种技术构建三维人脸模型。跟采用三维扫描仪获取三维人脸数据相比，正侧面人脸照片容易获取，且设备便宜。这一特性使很多研究者热衷于使用二维人脸照片重建三维人脸模型，本文就是以正交照片为基础，提出一种改进的构造三维人脸模型算法。
1.3.3 三维人脸重建技术的分析比较
通过前面的介绍，我们对三维人脸建模技术的基本原理、使用方法都有了基本的了解，现对常用的三种建模技术进行比较分析，具体分析结果表1-1所示：
表1-1 三维人脸建模技术分析表
为了达到良好的建模效果，人们往往综合利用多种建模技术进行三维人脸的重建，对三种建模方法进行综合分析比较后发现，由于利用三维扫描仪的方法虽然建模精度高，但建模代价过于高昂；而利用图像的建模方法虽然方法简单，但建模精度过低，所以现在研究者们越来越热衷于以通用人脸模型为基础，参照二维图像来建立三维人脸模
5
河南工业大学硕士学位论文
型，本文也是根据这一思路为出发点进行建模，由于二维正交图像上的特征信息最容易提取，因而在本文实验中使用的二维图像是正交图像。
1.4 本文研究内容
本文研究基于二维正、侧面人脸照片的三维人脸建模，研究内容包括以下几个方面： （1）采用Poser7.0三维人体建模软件，导出通用人脸模型，对该模型的数据信息根据建模要求进行分类提取，并把它转化为适合本实验研究的数据格式进行保存，为后续的建模工作做好数据准备。
（2）由于在实际中受种种因素的影响，获得的两张照片大小可能不一样，所以在提取特征点之前，要对正侧面照片进行规范化处理，使两张照片的高度一致，也即使正面照片和侧面照片的同一特征点处在同一条水平线上，以保证坐标的统一。
（3）根据MPEG-4的FDP标准选择特征点。由于人脸两侧基本上是对称的，所以定义的特征点也是对称分布的，在统计特征点的坐标时，只需要得出中央特征点和一侧的特征点的坐标即可，另一侧的特征点可由空间对称性直接得到。
（4）对通用人脸模型进行整体变换，使通用人脸模型与特定人脸在外部轮廓和五官位置上大致相一致。在整体变换的基础上对人脸模型进行局部变换，使用径向基函数插值技术变换三维通用人脸模型，对变换后的模型进行二次插值平滑处理，使模型的几何结构更加人性化。
（5）合成全视角人脸纹理图像，使用基于列特征的匹配方法，确定出图像的重叠区域，然后采用直方图匹配的方法进行灰度调整，使用加权平滑算法完成图像的无缝拼接。最后利用金字塔方法进行图像二次融合，避免用正侧面照片获得全视角纹理图时会产生较大纹理扭曲现象，得到更加平滑自然的人脸纹理图。
（6）采用微软公司的Visual C++ 6.0可视化编程语言对OpenGL进行调用，实现特定人脸模型的纹理贴图，得到具有真实感的三维人脸。
1.5 本文的组织结构
第1章，绪论。介绍三维人脸建模技术的研究背景和研究意义，分析近年来国内外对该技术的研究现状。在此基础上，明确本文的研究思路、研究目标以及主要研究内容。
第2章，基于图像的三维人脸建模方法回顾。主要介绍采用二维图像进行三维人脸建模时一些常用的方法，并分析它们的优缺点，指出其适合的应用领域。
6