逐步旋转点云,每一次的旋转都能计算一个新的2.5D图像,在这个过程结束后,就可以提取多个2.5D图像。用这种方法提取特征点,更多的关键点就能被发现。通过多视角,相同特征的关键点就能被捕获,如鼻子、嘴、眼睛等。2.2
多视角关键点投票
通过上面描述的过程,从被标记的训练人脸和没有被标记的测试人脸中提取关键点,一旦从各个视角把关键点提取出来,原来的3D和2.5D数据就可以丢弃,而这些关键点就被合并到一个代表人脸的数据集中。
为了对测试人脸进行分类,使用了一种新颖的关键点投票算法,
如算法2所示:Inputs:a)AsetMoflabeledkeypointsextractedfromthetrainingim-ages.Keypointsarelabeledbytheclassoftheimagetheycamefrom;b)A
setPofunlabeledkeypointsextractedfromasingletestfaceusingthekey-pointextractionmethod.
1foreacht∈Pdo
2Findtheclosestmatchingk∈MaccordingtotheEuclideandis-tancefunction,dist(t,k)
3Assignthelabelofktot
4Settheweightoftto1/dist(t,k)5endfor
6Eacht∈Pthenvotesforitslabeledclasswithitsweight.
7Thefinalclassificationoftheimageistheclasswiththegreatestto-talvote.
Output:Aclassificationfortheunknowntestface.
算法2把测试关键点集与训练关键点集进行匹配,根据欧氏距离确定最好的匹配训练特征点。然后对测试关键点进行等级分类,即给予最佳匹配的关键点一个权重,此权重与欧氏距离成反比,
测试关键点和训练关键点越匹配,权重越大。最后对整个点云的每一个关键点进行投票,投票是一个简单的根据关键点划分等级权重的累加。对总权重向量规范化,然后返回作为概率分布。
对未知人脸可以根据最高的概率进行分类,如果最高的概率不够高的话,予以拒绝。在本文评估中,总是对测试人脸根据最高的概率分布进行分类。图1为关键点示意图
。
3实验
采用三种不同的实验来评估本文算法的有效性。首先,简
单介绍实验中使用的数据集,然后描述实验过程,并对实验结果进行评估。3.1
GavabDB数据集
GavabDB[14]是一个公共3D人脸识别基准数据集。该数据集包含61个不同的人(45男,
16女)的549幅图像,每个人9幅图像,每一个图像由一个三维网格组成表示人脸,包含不同的姿态和表情。每人只有两个正面的图像,
且表情中性,其余的在姿态和表情方面变化明显,如表1所示。一般的数据集表情中性,姿态变化有限,而GavabDB数据集相反,故意设计引入头部位置、角度变化和表情变化,因此,它是最具挑战性的三维人脸识别数据集。
表1
GavabDB数据集中每个人的9种不同图像描述
样式描述
frontal1frontalheadorientation,neutralexpressionfrontal2frontalheadorientation,neutralexpressionfrontal3frontalheadorientation,strongsmilingexpression
frontal4frontalheadorientation,accentuatedlaughfrontal5frontalheadorientation,randomgestureoccludingfaceupfrontalbutlookingup(+35°),neutralexpressiondownfrontalbutlookingdown(-35°),neutralexpression
rightrightheadprofile(+90°),neutralexpressionleft
leftheadprofile(-90°),neutralexpression
3.2实验概述
在每个实验中,每项只用1或2个面部扫描图像作为训练
之用,
其余7、8个扫描图像用于测试。通过对图像在不同表情、姿态(角度)下进行实验测试。在实验1中,只用一个表情中性且正面的扫描图像进行训练,
然后对61个图像进行测试,实验结果如表2所示。在实验2中,
每项采用2个3D点云图像,一个表情中性且正面,一个微笑。从549个点云中提取出122个点云用于训练,
实验结果如表3所示。在实验3中,通过正常方式提取关键点,而不是直接进行分类匹配,采用C4.5决策树分类器,
对第一种情况(多类),建立一个决策树从训练图像中提取所有的关键点,针对多种情况可以建立巨大的决策树。针对第二种情况(1对多),每一项都建立一个分类器,从图像中提取的人脸关键点是正例,其他的是负例,未被标记的关键点用每个决策树进行预测,
多个小决策树构成强大的决策树。核心思想就是验证一个设想:即是否可以通过一个分类器建立一个模型,在理论上比关键点集需要的存储空间更小,并且还能比在实验1和2中进行的直接匹配更有效的在测试中标记尚未标记的关键点。实验结果如表4所示。
表2
用frontal1样式图像进行训练
训练图像旋转角度训练和测试图像旋转角度
测试数据基准±10°x±10°y±10°z±10°xy±10°xz±10°yz±10°yz±10°x±10°y±10°z±10°xy±10°xzfrontal2
81.9681.9583.6585.2788.4986.9190.3286.5190.1690.2590.1691.8094.05frontal370.5078.6175.5878.7181.8785.3485.5483.4380.3890.2486.8186.8088.21frontal457.3468.7863.9373.7480.3181.9375.5181.9680.2581.8988.3990.2793.18frontal557.3962.3067.2765.5462.3372.2170.3865.4872.6567.4275.4180.3778.71frontalaverage
66.8772.8372.6875.7878.2881.4180.2879.5880.9882.2785.2687.3489.47up16.4721.3519.7121.3727.8424.6419.7124.5229.5722.8539.4639.2927.88down24.6222.8931.1524.5927.8431.2524.6432.7132.7121.4145.9549.2439.41left6.593.323.243.248.259.883.283.288.2713.1413.1411.45414.76right4.858.214.894.899.818.274.919.866.566.5614.7511.4813.13overallaverage
30.91
43.47
48.51
43.59
49.42
44.59
49.24
48.37
56.73
49.42
57.57
46.73
56.58
表3
用frontal1和frontal3样式图像进行训练
训练图像旋转角度
训练和测试图像旋转角度测试数据基准±10°x±10°y±10°z±10°xy±10°xz±10°yz±10°x±10°y±10°zfrontal284.5887.1790.3687.1093.5593.5690.3290.3591.9493.65frontal4
84.7783.8587.1488.7185.4891.9590.3293.5595.2193.54frontal576.4875.8480.6680.6582.2685.4882.2680.6587.1082.26frontalaverage
82.3582.386.1285.4987.1490.3787.6388.1991.4189.79up30.3138.6835.5430.6545.1941.9432.2637.1835.5233.87down25.8733.8132.3132.2643.5538.7133.8745.1645.1637.10left6.8511.3511.324.8411.2911.2911.2911.319.6815.11right10.1812.829.719.6812.9014.5311.2917.7411.299.68overallaverage
46.38
49.52
49.48
4670
53.46
53.92
50.23
53.71
53.69
52.1
3.3
实验结果分析
从表4中可以看出,应用提出的多视角关键点匹配投票算
法在识别准确率上和基准情况下相比有较大幅度的提高,有效地克服了由于人脸旋转、表情变化带来的识别困难。
在实验3中,虽然识别率比在基准情况下有显著提高,但与实验1和2比起来却没有提高,实验结果不理想。
4结束语
实验结果表明,虽然提出的算法和基准情景相比在识别准