基于二维图像的三维人脸建模技术研究
到两张表情相同的侧面人脸照片，然后分别对正面照片和两张侧面照片以外眼角点为基准运用基于列特征的匹配方法进行直线拼接；其次采用直方图匹配法进行灰度调整，使用加权平滑算法完成图像的无缝拼接；最后对纹理图像采用经典的塔形分解方法进行二次融合，使纹理图像更加自然形象。 5.2.1 图像的拼接
图像拼接(image mosaic)技术是将一组相互有重叠部分的图像序列进行配准,经过重新采样合成后形成一幅包含各个图像序列信息的完整的、宽视角场景的、高清晰的新图像技术[61]。图像拼接被广泛应用在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域。 通常图像拼接的过程由图像获取,图像配准,图像融合三步骤组成,其中图像配准是拼接算法的核心和关键。图像拼接的实现由以下四步完成：
(1)由相机获取需要拼接的图像序列。
(2)图像预处理，对图像进行几何畸变校正和噪声点的抑制，让参考图像和待拼接的图像不存在明显的几何畸变。
(3)配准图像，对参考图像和待拼接图像中的匹配信息进行提取，在提取出的信息中寻找最佳匹配，完成图像间的对齐。
(4)图像的融合，对图像进行缝合，并对缝合后的边界进行平滑处理。消除配准图像间的不连续和拼接缝隙。
由于正侧面照片都仅仅是在一定角度内给出不错的人脸纹理，因此，如果单独采用正侧面人脸照片对人脸模型进行映射的话，将只能得到部分纹理信息，贴图效果缺乏真实感，所以必须将正侧面人脸照片融合为一张纹理图像。由于眼睛是最显著的特征点，也是人脸视图的关键,于是我们首先采用基于列特征的匹配方法确定出图像的重叠区域，然后采用直方图匹配方法进行灰度调整，将三幅图像拼接起来。由于两张照片的光照条件和角度不一样,简单的拼接会使皮肤颜色在合并的边界处变化很大,出现裂缝，如图5-2所示。
37
河南工业大学硕士学位论文
图5-1 拼接前的正侧面图像
经过图像配准，确定重叠区域后，右侧面人脸图像和中间人脸图像拼接的结果如图5-2所示。
图5-2 右侧面和正面图像的拼接
经过拼接后的图像有明显的拼接缝隙，这是由于任何两幅图像在拍摄环境条件上都不可能做到完全相同，因此对于一些本应该相同的图像特性，如图像的光照特性等，在两幅图像中就不会表现的完全一样。图像拼接缝隙就是从一幅图像的图像区域过渡到另一幅图像的图像区域时，由于图像中的某些相关特性发生了跃变而产生的。图像融合就是为了消除两张待拼接图像间的拼接缝隙，让拼接更加自然。对拼接后的图像采用加权平滑算法对图像进行渐变融合，得到结果如图5-3所示。
38
基于二维图像的三维人脸建模技术研究
图5-3 右侧面和正面图像的融合
根据同样方法使用上面得到的融合图像和左侧面人脸图像分别进行拼接和融合，图5-4，5-5分别显示了我们得到的拼接和融合图像结果。
图5-4 左侧面和融合图像的拼接
图5-5 正侧面图像的融合
39
河南工业大学硕士学位论文
5.2.2 基于塔形分解方法的人脸纹理图像二次融合
采用加权平滑算法得到渐变融合图像虽然有效消除了明显的拼接缝隙，但从上图可以看出融合后的图像还是有明暗不均的现象，为了消除拼接界限,达到使图像平滑过渡的目的,我们使用多分辨率技术（图像金字塔法）对纹理图像进行二次融合处理，以达到最佳效果。
基于图像塔形分解的融合方法是一种像素级融合方法[62]，它是将各原图像中对应的像素进行融合处理，保留了尽可能多的图像信息，精度比较高，因而倍受人们的重视。图像融合方法分类如图5-6所示。本文采用基于拉普拉斯塔形分解的图像融合方法来完成图像的融合。
图像融合特征级融合像素级融合决策级融合简单方图法像融合的基融于合塔方形法分解的基融于合小方波法变换像塔基融形于合分拉方解普法的拉图斯分基合解于方的比法图率像塔融形形基融分于合解对方的比法图度像塔分基合解于方的梯法图度像塔融形 图 5-6 图像融合方法示意图
图像的拉普拉斯塔形分解、重构过程包含以下三个步骤:: (1). 对原图像进行高斯塔形分解 设原图像为
，把
作为塔形分解的最底层，然后以
所示。
和一个低通滤波窗口函数
进行卷积运算，然后对为基础依次向上构造各层
，
金字塔，我们把原图像称为高斯金字塔的第零层，那么高斯金字塔的第L层图像为 其具体的构造方法如公式
首先将
层图像
卷积结果进行间隔采样，即:
其中
；N为高斯金字塔顶层的层号；CL为高斯金
为
字塔第L层图像的列数；RL为高斯金字塔第L层的行数；生成核函数
40
基于二维图像的三维人脸建模技术研究
，其定义如公式(5-5)所示：
为了书写方便，引入缩小算子Reduce，则
式可以记为:
这样，由
行间隔采样来实现塔形分解。
(2). 根据图像的高斯金字塔构建图像的拉普拉斯金字塔 先使用二元三次样条插值方法将 和
进行内插放大，能够得到放大后的图像
，使
具有相同的尺寸。为此引入放大算子Expand，即:
与
式相对应，Expand算子定义为:
合在一起就构成了具有
的高斯金字塔，据此可
知，图像的高斯塔形分解方法是利用依次对低层图像进行低通滤波，然后把滤波结果进
其中，
Expand算子和Reduce算子是互逆的，虽然从公式
均得到的。由于图像间隔采样的斯金字塔
是对低层图像
与
相同,但它们并不相等。
是模糊化、
中可以看出，对高斯金字塔高层进行的插值是通过对原有像素值的加权平
进行低通滤波获得的，也就是图像
，所以，图像 所包含的细节特征肯定小于，。下面构造拉普拉
由
组成的金字塔即拉普拉斯金字塔，它的每层图像是由高斯金
字塔上的对应层图像与其上一层图像经过放大算子放大后图像之差获得，此过程相当于
41