基于二维图像的三维人脸建模技术研究
第3章，通用人脸模型的建立与人脸特征点的提取。首先介绍三维通用人脸网格模型从三维建模软件Poser 7.0中的导出过程，从分析原始三维文件格式出发，对文件中的数据信息进行提取分类，最终将模型的初始数据格式转化成适合于后续建模研究的数据格式。然后，参照FDP标准，根据人脸特征点分布情况，从正侧面人脸照片中交互提取人脸特征点。
第4章，个性化三维人脸建模。采用径向基函数插值方法对通用人脸模型进行变形。针对该算法的不足，利用二元三次多项式插值技术，对模型的局部区域进行二次平滑处理，最终获得较为平滑自然的个性化三维人脸网格模型。
第5章，真实感人脸纹理图映射。首先使用基于列特征的匹配方法，确定出图像的重叠区域，然后采用直方图匹配的方法进行灰度调整，使用加权平滑算法完成图像的无缝拼接。最后利用金字塔方法进行图像二次融合，最终得到自然平滑的人脸全景纹理图，为后续工作做好准备。利用OpenGL有关纹理映射知识，基于Visual C++6.0开发环境，获得具有较高真实度的三维人脸模型。
第6章，总结与展望。本文所做的工作进行总结，对本研究课题中的不足及需要改进的地方进行分析。
7
河南工业大学硕士学位论文
第二章 基于图像的三维人脸建模方法回顾
特定三维人脸模型的构建过程分为三个阶段：三维通用人脸模型的选择、特定三维人脸模型的变换、真实感纹理映射。人脸具有很大的差异和不规则的几何结构，而且人脸皮肤表面和光照之间具有复杂的相互作用，这种特性给特定三维人脸模型的构建带来一定的难度。因而，采用二维人脸图像构建三维人脸模型的技术研究近些年来成为人们关注的热点。本章简单介绍几种常用的三维人脸建模方法，并且指出它们适用的领域及优缺点。
2.1人脸建模方法的分类
虽然构造具有真实感的三维人脸存在一定的困难，但在该领域己经取得了一些成果。通过基于图像的操作和基于几何的操作都能够获取真实感的三维人脸，其中基于图像的操作可以获取皮肤的反射属性、头发等这些特定人脸的基本细节，而几何操作主要对应于表情变化时面部的改变。现有的建模方法主要集中在人脸的建模和渲染两部分，据此我们把三维人脸模型构建的方法大致分为两种类型：基于的几何的方法和基于图像的方法
[16]
。
所示。
基于几何的模型构建方法，主要是利用几何方法来变换三维人脸模型，以此来达到获取特定三维人脸模型的目的。其包含的主要的方法如图
基于几何的方法几何方法肌肉方法参数化法变形方法其他方法双线性插值散乱数据插值向量肌肉方法多层弹性网格方法弹性网格方法参数化模型样条伪肌肉方法自由变形方法人类学自动方法三维扫描仪数据适配脸部动作编码系统其他方法基于图像的构造方法，主要利用图像的数据插值、纹理贴图的方法来完成特定三维
8
图2-1 基于几何的人脸建模方法
基于二维图像的三维人脸建模技术研究
人脸建模，其包含的主要方法如图2-2所示。
基于图像的方法插值图像过渡技术基于统计的人脸渲染纹理操作面色变化产生表情对应点的测试渲染皱纹 图2-2 基于图像的人脸造型方法
每种方法都是根据一些具体的实际问题提出来的，是对各种方法的综合结果 ，因而上述的各种三维建模方法之间存在密切的联系，在具体进行特定三维人脸建模过程中，应该根据实际情况将几种不同的建模方法综合运用，特别是假如基于图像的方法能够结合人脸的几何数据，将会使模型更具真实感。在此只是为了方便说明问题才进行方法分类，通常在实际应用中是结合多种方法进行建模。
2.2 基于几何的人脸建模方法
Parke首次把基于几何的构建模型方法应用在计算机中生成虚拟三维人脸模型。该方法的实施是以一个假人模型为出发点，先用手工方法测量模型上的数据，然后把脸部进行多边形分割，把多边形的顶点数据进行保存，根据保存的数据可以得到头部的分片模型[17]。Parke设定人脸模型的差别可以利用拓扑几何结构上的变换来区分，他通过变换通用人脸模型的参数构造几个不同形状的人脸模型，使用双线性插值来构造不同的人脸形状。给定的构造参数的范围限制了Parke的参数化模型，并且在一张特定人脸上参数的调节是非常困难的。随后Parke据此方法原理有创造性的提出一些实现人脸动画的方法，下面主要介绍一些比较有代表性的建模方法及其思想原理。
(1)参数化人脸模型 人脸模型参数化方法突破了简单插值的某些局限性，面部轮廓和形状的构建是利用一些特殊的参数值来完成的，参数化方法只需要较少量的计算就可以精确的控制特殊人脸形状。很多面部表情都可以由参数的组合来提供。但是参数化方法只能利用模型网格的拓扑几何结构来选取参数，所以不能实现完全参数化控制，并且很多参数值是通过手工调节来获取，因而会引起外形和动作表情的失真。而且参数化
9
河南工业大学硕士学位论文
方法的另一个局限是如果用两个跟同一个顶点相关的参数去调整模型的话，无法用一个合理的方案来解决问题。所以当多个参数之间有相互冲突时，往往会导致不自然的表情
[18]
。
(2)向量肌肉方法 向量肌肉方法是在形变变量可以波及到的范围内，用模拟肌肉
运动的方式来改变面部形状，从而达到模型形变的目的。Waters最早提出一个非常成功的用多边形的几何方法来表示的肌肉模型，其基本思想是利用不同的力学约束来作用于不同的网格顶点，以此来描绘面部肌肉的变化，而不同的肌肉都有各自不同的作用范围，每条肌肉对人脸不同的部位都有一定的影响区域，从而引起模型变形以实现人脸动画[19]。通过肌肉控制来实现模型的参数化调整，但这些参数只是一种抽象的表示方法。模型的网格顶点变换是通过顶点上的肌肉模型来控制完成的，而在变换过程中模型面部的几何拓扑结构没有发生变化[20]。
(3)样条伪肌肉方法 阿尔伯特多边形人脸模型被广泛应用在很多领域，然而它无法详细刻画人脸的柔韧性和光滑性，难以在任意区域内平滑地变形具有固定拓扑结构的人脸多边形模型。如果不细分的话，平坦区域的顶点就不能变换成曲面，为了确保光滑性和形变的灵活性，可以用曲面来构建一个完善的人脸模型。利用样条肌肉模型可以据此达到建模的目的。样条往往具有
连续性，所以可以据此特性在模型上进行局部变换，
而且利用小组控制点来控制仿射变换，因而大大简化了算法的复杂性[21]。
(4)多层弹性网格方法 一个多层弹性网格是为了达到更可靠地模拟人脸物理行为的目的而将一个质点弹簧结构拓展为三个紧密相连的网格层。Wu提出了一个能在保持视觉真实性的基础上减少计算时间的简化网格系统[22]。Lee等人根据Waters和Terzopoulos早期的研究成果构建了一个基于物理的皮肤和肌肉层的综合模型[23]。人脸模型通常是由三个分量构成，一个最里层的不可穿透的头盖骨结构，皮肤下的肌肉层和具有非线性变形属性的生物组织层。该综合体造型用三棱柱体元素来实现,它分为表皮、筋膜和颅骨曲面，影响肌肉拉力的弹簧元素连接筋膜和头盖骨层，皮肤的弹性是由连接表皮和筋膜的弹簧元素模拟。该模型极其逼真，但一张特定的人脸的构建需要很大的计算量和很大的调节工作[24]。
(5)人类学方法 在构造特定的人脸模型时，立体图像和激光扫描被用于获取全视角纹理和几何细节。但这些方法也有缺陷，立体图像或扫描数据经常由于被遮挡而遗漏区域，错误的数据和噪声必须通过手工才能校正。并且由于现在还没有完全有效的对应点自动匹配方法，如果在得到的数据上特征点信息比较隐蔽，就需要人工干预调节[25]。Kuo等人根据人类学的基本定义构建了一个由正面二维人脸图像估计出侧面图像的信息，从而得到特定人脸模型的方法[26]。该算法首先需要构建一个包含测试人脸参数数据
10
基于二维图像的三维人脸建模技术研究
信息的数据库，并此作为先验知识；然后，通过将最小中值二次误差估计的原理算法应用于数据库中，根据正面的人脸参数信息估计出侧面人脸的参数信息，通常通过几个正面的人脸参数线性组合可以得到侧面人脸的深度参数；最终通过自适应得到三维人脸模型，并进行纹理映射，得到具有真实感的三维人脸模型[27]。
(6)散乱数据插值 基于径向基函数的散乱数据插值技术可以简便地将一个一般网格变换成特定形状，而且它可以充分逼近像人脸那样光滑的曲面。这种变形方法的实现需要的顶点数远远少于目标网格的顶点数，因为可以利用散乱数据插值算法得到其余顶点[28]。Wang采用morphing技术实现了从通用人脸模型到特定人脸模型的转换。该算法首先在人脸外部轮廓、嘴巴、眉毛、鼻子和眼睛上选取一些特征点标识，特征点的个数和位置选择决定了一般网格变形的效果 。然后由这些特征点计算出插值函数，其中的基函数采用了Hardy multi-quadric径向基函数，最后一般网格的变形通过插值函数来实现[29]。
(7)脸部动作编码系统 脸部动作编码系统(FACS)是根据人脸的生理结构特征来描述眼睛、嘴巴和面部肌肉等动作。人脸上发现43种动作单元，每种动作都由一块或好几块肌肉的运动构成，各种动作单元之间可以相互自由组合。Essa等人利用Modular Eigenspace方法来处理适配方面的问题。该方法可以在图像上自动选取面部器官特征点的位置。利用这些特征点可以控制图像变形，通过变形，可以使个性化的人脸图像与通用人脸模型相匹配[30]。能够进行形变的顶点从图像中提取出来，进行保存，进而为进一步的细化工作做准备。通过用自由变形、随机噪声变形、定点编辑、或者数字化生物体来控制已有的模型产生新的特定人脸模型[31]。
(8)其它的方法 DiPaola的人脸动画系统(FAS)是在Parke建模方法的基础上进行了更深层次的扩展。通过利用数字化生物体或雕塑工艺品，或用自由变形技术、随机噪声变形、或定点编辑等方法来操作已有的模型产生新的人脸模型[32]。
2.3 基于图像的人脸建模方法
近些年随着计算机视觉技术的发展，基于图像建模的方法成为人们的关注的热点，应用这些方法创建的模型更逼真，主要有以下几种方法。
(1)插值 插值技术为脸部动画提供了一个比较直观的方法。由于线性插值算法简单、容易实现的特点使其成为计算机视觉领域广泛使用的一种插值方法，而采用稍微复杂一些的插值函数可以实现一定的动画效果。当有四帧画面时，就可以利用双线性插值函数来实现，与线性插值相比，双线性插值更能容易表现生动逼真的面部表情。而双线
11