河南工业大学硕士学位论文
性插值与图像的变形技术结合使用，可以实现丰富多彩的表情变化[33]。虽然插值能够简单快速的产生基本脸部动画，但它无法创建大范围内具有真实感的人脸造型，因而该特性限制了它的应用范围。并且该方法很难组合不同人脸之间的变形。
(2)基于统计的人脸渲染 Thomas Vetter和Volker Blanz基于统计的建模方法提出了利用人脸图像库来建模的方法，使用一张照片就可以得到个性的人脸模型。该方法是首先建立足够大的人脸库，然后把人脸库中的人脸图像进行线性组合来逼近照片中的特定人脸，因而可以得到特定的三维人脸模型，方法的实现是自动完成的，而且对于不同的照片都具有很强的适应性[34]。该方法的优点是最终得到的模型逼真，不需要人工干预，需要的信息量较少，但不足是必须事先建立庞大的人脸库，即使人脸库再大，也不可能包括世界上的所有人脸形态，因此对人脸的模拟在一定程度上起到了限制作用。
(3)纹理操作 纹理被应用于获取具有真实感的人脸图像，它可以在每个象素上反映曲面的光照属性。Oka等人创建了一个完整的真实感人脸表情和动画的动态纹理映射系统，每次调整三维物体的几何结构或观察点时，就会构造一幅新的纹理映射图像用于对象的最佳显示[35]。该算法简捷，运算效率高。在该算法中，从纹理图像到计算机屏幕的映射函数可以用一个线性函数来实现。该线性函数必须足够光滑，通过依赖于视点和几何变化的动态纹理映射，在多个三维人脸曲面间的外插和内插来实现真实感人脸表情
[36]
。
(4)图像morphing技术 图像morphing（形状过渡）是指在两个模型或两幅图像
之间实现的调整变形。二维图像之间的过渡包括两幅图像对应点之间的淡入淡出和Warping。两者之间的对应关系可以按需要进行手工选取，在对应关系建立后，形状过渡可以实现生动逼真的面部动画。Beier等人把morphing函数定义在包围特征线的影响区域上，然后把手工指定的对应特征线段在两幅图像间完成二维morphing[37]。采用该方法，想要得到良好的效果需要很大的工作量进行手工交互，包括选取合适的对应关系，颜色的调整，Warping和调整淡入淡出参数。在设计动画过程中，由于目标特征不明显，合成真实感的人头运动有一定难度，因此源图像和目标图像的改变会使对应关系的选择变得非常复杂。
(5)面色变化产生表情 脸部动画和表情不仅仅包括人脸外形的变化，而且还包含由于对象情绪变化而导致脸部颜色的改变。该方面的研究工作到目前为止还很少。首个面色变化产生表情的模型是由Kalra等人提出[38]。Kalra等人构造了一个情绪计算模型来模拟脸色变化动画，该模型被定义为时间域上具有两个参数的函数，其中一个参数用来表示面部颜色的改变，另外一个参数用来表示肌肉表情的强度。他们同时定义了最小可觉察的颜色运动，它控制着人脸各个部位的由于血液循环而导致的颜色变化。如果直
12
基于二维图像的三维人脸建模技术研究
接按血流特点对脸色改变造型是不容易实现的，但利用像素估值和纹理映射可以便利的实现脸色变化。该方法是在纹理图像上定义一些Bezier平面片形状的MPCA区域，利用象素估值能够获取每个象素的参数变化情况，纹理图像的颜色属性可以通过该象素参数来改变。
(6)对应点的测试 适配必须构造通用模型和特定模型之间的对应关系，对应关系的正确与否将直接决定适配结果的完整性。人工选取对应关系非常困难，不仅精确度低而且会导致偏差积累会越来越大。也有其他方法可以自动完成对应点的适配工作。 Lee等人提出一个根据激光扫描得到的深度和反射数据信息自动构造特定人头模型的方法
[39]
。在Yin的工作中根据二维正面和侧面图像调整得到一般通用模型，利用合并每个二使用将标准模型上的特征点调整到二维图像对应点的位置来构建位移矢量，可以通
维视图的适配操作得到一个特定的三维人头模型[40]。
过散乱数据插值方法获取非特征点的位置。为了得到一个完整的三维模型，两张图像的纹理图在基于部分人脸区域大致方向被调和，并使用一个分层的力扩散方法(LFSM)来实现动画。在该方法中，中心顶点向四周扩展分层关键点形成中心层，与中心层直接相连的顶点构成了第二层，以此类推。为了实现人脸动画，根据不同层上的不同权值，弹簧力从中心向四周外围层进行扩散。
2.4 人脸建模中常用的技术
不同的人脸模型可以应用在不同的领域，既有应用在医疗解剖方面的复杂模型又有简单的几何模型。同一个模型上面可以用多种不同的几何表示方法，而且一般来说不同器官的表示方法是各不相同的。下面讨论几种常用的三维人脸模型的建模技术：
(1)多边形建模技术 多边形建模技术是用多边形网格来表示人脸的技术，在网格上选取一些控制点，网格的变换是通过控制点的移动来带动的，以此就能够产生动画效果。利用该方法可以得到精细的脸部纹理和几何结构，合成各种脸部形状，实现完全可控的、自然生动的面部动画。多边形建模技术常用的方法有两种：均匀网格和非均匀网格。使用非均匀网格可以使面部细节重点突出，还能简化计算的复杂度。例如，在脸颊和后脑等这些部位可以用密度较小的网格来表示它们，而在面部的眼睛和鼻子采用密度较大的网格来表示它们，这样就可以使细节更突出。
(2)曲面建模技术 曲面建模技术主要有限元模型和样条模型。有限元模型通常被用于计算皮肤的形变，该模型适用于医学方面的研究，其缺陷是计算量过大，运算时间过长，因而不适于实时的人脸动画系统[41]。经常用到的样条模型有B样条模型，主要因
13
河南工业大学硕士学位论文
为B样条控制的精确性，构建的人脸模型能够任意精度逼近原始人脸。但是B样条模型很难完成孔，洞等外形，因此也给人脸建模带来不便。而且，由于B样条的控制点不是直接作用于模型表面，因而对于曲率变化较大的部位很容易实现[42]。
(3)隐式建模技术 曲面可以用隐性函数的方式进行定义，一个结构形状复杂的模型可以使用多个隐式曲面组合在一起来表示[43]。隐式方法适用于那些对真实感要求不高的应用，比如，比较夸张的表现手法或者是卡通，而且由隐式曲面组合在一起构成的模型很方便做碰撞检测。但是由隐式方法构成的曲面缺点是当表现曲面表面细节、表示具有尖锐边缘的物体对象、或者对曲面进行变换调整时都非常困难，而且渲染起来比较慢，因而在人脸建模中这种方法用的比较少。
(4)参数化建模技术 参数化的基本原理是由n个参数定义一个相对较小的n维空间。参数化建模技术是人脸建模中比较常用的建模方法，实际上参数化建模方法是建立参数空间和模型空间的一种对应映射关系[44]。用参数化的方法好处很多，其中包括：可以利用较为直观的方式定义模型、可以压缩数据，可以对模型上进行数据调整、可以用计算机生成大批模型、可以在模型之间进行调整等。参数化建模技术的主要缺点是所能构建的模型形状有限，而对特殊的模型无法完成建模工作。
(5)点云系统建模技术 在基于物理系统的观点中，模型通常被看作是一个由点云组成的系统，而且模型的运动可以通过物理公式计算出来。该系统往往把皮肤看成是由肌肉部分、皮下组织部分和表皮部分组合在一起的一个系统结构，表皮的运动效果的实现是由肌肉收缩产生的力学效应来完成的，在这里肌肉被认为是连接在某一固定点上的弹簧，能够用一些数学方法如Runge-Kutta方法来解其得到的结果方程。或者也可以将面部看作是由一些弹性介质连接起来的点组成的表面[45]。
2.5 本章小结
本章主要介绍了在三维人脸建模过程中经常用到的一些技术方法，并介绍了这些方法的基本原理思想，同时对他们的优缺点进行比较分析，指出他们适合的建模方法和适用的领域范围。
14
基于二维图像的三维人脸建模技术研究
第三章 通用人脸模型的建立与人脸特征点的提取
当前三维人脸重建研究的热点是以通用人脸模型为基础，利用通过普通手段获取的二维图像提取数据信息，找到一些简捷通用，执行效率高的建模方法构建具有真实感的特定三维人脸模型。本章将详细介绍三维通用人脸模型的导出过程和处理方法，并参考MPEG-4标准，在普通相机拍摄的二维人脸图像上标注特征点，为后续的建模工作奠定数据基础。
3.1 通用人脸模型
本文进行了根据二维人脸图像变换通用人脸模型得到特定三维人脸模型的研究，首先需要获取三维通用人脸模型作为下一步研究的基础。本节重点描述三维通用人脸模型的特征和获取方法。
3.1.1 通用人脸模型特征及构造要求
虽然世界上没有两个完全相同的人脸，但不同人脸之间仍然存在共同的特征。比如：每个人的脸部都有嘴巴、鼻子、眼睛、眉毛等器官，且每个器官在面部的相对位置是稳定的。对于一个特定的人脸可以用嘴巴的形状、鼻子的高低，眼睛的大小，眉毛的粗细等细节来刻画其面部特征。通用人脸模型可以认为是一个具有代表性的、没有任何明显特征的一般三维人脸模型。
通用人脸模型的具体表示方法很多。在计算机视觉中，三维模型主要有两类的表示方法：基于面(Surface)表示方法和基于体(Volume)表示方法。基于面的描述数据能够利用三维数字化设备进行获取。基于面表示方法的优点是它能够很方便的得到计算机视觉中进行着色所需要的面，为下一步的工作提供了便利。基于体表示的数据可以通过CT、MRI等设备生成。体表示方法不仅描述了物体的表面特征还有关于物体内部特征的描述，其中内部特征主要用来描绘模型的相关物理特性。但这种方法消耗空间过大，计算时间过长，目前还不适用于计算机的表示和处理，并且基于体表示的某些方法技术还不完善。本文利用基于面描述的三角网格模型来表示三维通用人脸模型，主要模型元素包含的数据信息有模型顶点坐标以及由顶点组成的三角面片集合。
三角网格模型表示分为两种：均匀网格表示和非均匀网格表示。脸部细节的刻画程
15
河南工业大学硕士学位论文
度和网格模型的疏密密切相关，非均匀网格表示不仅可以减少计算量，提高运行效率，还可以充分体现细节特征。在人脸曲率变化较小的地方，如额头、脸颊等处，点的分布密度可以少一些；而在人脸曲率变化比较大的部位，象嘴巴、眼睛等地方，点的分布密度应该大一些。因此，本文采用非均匀三角网格来表示三维通用人脸网格模型。
不同人脸具有大致相同的特征，而通用人脸模型则是这些相同特征的集合体，可以反映普遍的人脸几何结构、体现了人脸的共性。因此一个合理的一般人脸模型应该具备人脸的普遍共性，也就是没有性别、不分年龄、脸型普通、表情中性的人脸型。这样的人脸模型在构建特定人脸模型时可以适用于各种性别、各个年龄阶段及各类脸型。通用人脸模型应该具备以下几个基本特征：
第一、符合“三庭五眼”的比例关系。通用人脸模型上的各个脸部器官在整个人脸模型中的位置关系应符合“三庭五眼”比例标准。
第二、脸型适中。脸型要适中，一般要采用脸型轮廓为椭圆形的脸型，不能使用特殊对象的脸型作为通用人脸模型，更不能采用比较特别的脸型(如长方型、瓜子脸型)。
第三、脸型左右对称。一般人脸模型设计时，左半脸和右半脸依额部——鼻尖——人中——下巴的这条线左右对称，这种对称关系不仅方便了下一步人脸的各种实际操作和变换，而且还遵循了“三庭五眼”的人脸比例关系。
第四、合适的数据量。从理论上来讲，模型的面片数就越多，数据量也就越大，模型也就越逼真，但数据的计算量也就越大，提高了问题的复杂度。考虑到实际应用方面的问题，应该把通用人脸模型的数据量控制在一个适度范围内，既可以方便地进行各种计算，又能合理刻画人脸的细节特征，以便于实际操作。
本文在构造通用人脸模型时严格遵循以上要求。 3.1.2 通用人脸模型的获取
通用人脸模型的获取方法很多。其中利用专门的三维扫描设备是获取人脸模型的最直接也是最精确的方法，然而由于专门的三维扫描设备价格高昂，不容易获取。传统使用的人脸造型工具是几何建模器。使用标准的计算机图形技术可以实现三维人脸建模的工作，并且能够构建任意造型的人脸模型。但是由于人脸表面特别复杂，该建模过程的实现需要一定的时间和算法技巧。根据第三方建模软件提供的头部模型信息也能够获得一个通用人脸模型。
利用第三方建模软件(如poser，MAYA，3DSMAX等)能够实现人脸模型的构造。各种各样的三维人脸模型都可以通过这些软件导出，利用导出的人脸模型可方便快捷地构造
16