样本生物特征1特征提取分数特征融合进行匹配决策结果匹配不匹配生物特征2特征提取
图2-2 特征层融合示意图 Pig2-2 Sketch of feature layer fusion
在特征层融合的操作过程中通常会遇到许多困难：（1）不同模态所对应的提取特征数据类型有可能并不相兼容，比如指纹，它有谷、脊、交叉点等特征；虹膜的特征提取一般是二进制码；人脸特征向量的特征维数是固定。（2）特征空间在不同模态下的对应的关系也并不明确。（3）不同特征融合方法，需要新的特征匹配方式与其对应。
3.匹配层融合
匹配层融合属于中间层次的融合，首先它对单模态生物特征独立进行特征向量处理与匹配，输出对应的匹配分数，将这些分数进行决策融合最终实现身份识别。主要优点是有较高的灵活性。近年来，主要依靠以下两种策略进行匹配层融合算法研究：
（1）组合判定：是指通过采用相对简单的规则操作对不同模态的生物特征进行融合，主要是把融合看做是简单的分数组合的判定问题[7]。简单规则一般是指乘法规则、加法规则等。
（2）二级分类器：是指将N种不同模态下的生物特征所对应的所有匹配分数看做是一个维数是N的特征向量。从而把匹配层融合的问题转换成是对N维特征向量进行分类的问题，这样一来，可以用许多方法来处理该问题，包括神经网络、最近邻分类器、模糊积分（Fussy Integral）、Fisher线性判别分析等，都得到了广泛应用。
- 10 -
样本生物特征1特征提取进行匹配分数匹配融合决策结果匹配不匹配生物特征2特征提取进行匹配样本
图2-3 匹配层融合示意图
Pig4-3 Schematic diagram of matching layer fusion
4.决策层融合
是指把不同识别单元看作是互相独立的单元，首先对每个生物特征进行识别得出一个决策结果，再进行融合。决策层融合主要优点：传输数据量低。灵活性高。当有信息出现错误，能通过适当融合而得到正确结果，有一定的容错率。抗干扰能力强等。它的宗旨是利用最小的信息来获得最大性能。决策规则主要有：与规则、或规则、加权的投票和投票等方法，“与”、“或”规则是最简单的融合方法，Daugman 等人研究指出，与规则能够降低错误接受率，或规则能够降低错误的拒绝率，下面就这一问题还会进行详细介绍，示意图如2-4所示:
- 11 -
样本分数生物特征1特征提取进行匹配判决结果匹配判决融合分数生物特征2特征提取进行匹配分数判决结果样本
图2-4 决策层融合示意图
Pig4-4 Schematic diagram of decision level fusion
融合层次的比较与识别系统：
1. 融合层次比较：
信息融合的每个层次都有各有优缺点和适用范围。数据层和特征层融合都需要关联和配准多源信息，决策层融合需要对关联数据[8]。但是其相关和识别的顺序不同，数据层融合是指进行配准和关联针对的是原始数据，特征层融合配准和关联是对特征向量，之后再识别；决策层融合则是先识别，再关联各个决策结果，得到判定结果。如果关联和配准对多个信息源的信息数据，理论上来讲，数据层融合是融合效果最好的，主要是它保持的原始数据比较多。决策层融合对传感器的要求较小，它可以是同质的或者不同质的。但是，必须要求各个信息源得到的信息之间是互相独立的，否则决策层融合的分类性能要偏低于特征层融合。只有综合考虑各个因素的影响才能确定特定的应用在哪个层次进行融合比较好。目前而言，能够对所有情况都适用的普遍结构是不存在的。
2. 生物识别系统：
对生物识别系统主要进行四个部分的划分：分别为图像采集、特征提取、模式匹配和分类决策。下面对个部分功能作用进行详细介绍，如图2-5。
- 12 -
图像采集特征提取模型匹配分类决策图像数据特征向量数据库匹配分数决策结果 图2-5 生物特征识别系统 Pig2-5 Biometric identification system
图像采集：是利用一些图像辅助设备来获取生物特征信息的图像数据，由于采集得到的原始图像存在噪声等因素的影响，一般进行灰度转换、中值滤波、边缘检测等处理过程，来获取准确稳定的数据[9]。
特征提取：将复杂的信息通过某种对应关系简单表示。其特征数量相对较少，所包含的信息能够代表原始数据的特征，与其他特征又有很好的区分性和差异性。
模型匹配：主要在于分类器的设计与选取，利用某一匹配规则来进行相似性分析，得出匹配 分数，用这个匹配分数来对匹配结果进行判断。
分类决策：根据大量实验和统计结果来进行阈值的设定，再与匹配分数进行比较，综合判断分析，最后得出匹配结果。
2.3 多融合方案确定
一个生物识别系统通常包括三种操作模式：1.身份注册：接受所提供的人体生物特征信号，并对特征信号进行预处理与特征提取，再将提取的特征数据存入数据库中。2.验证：系统接受到生物特征信号再进行预处理与特征提取，再与数据库中模板匹配，再进行判断。3.识别：从匹配结果能够找出最为相近的模板，确定该模板是否是这个对应用户的身份。
本文主要基于“手形+掌纹”多模态生物识别进行研究，并确定多模融合为在特征层的融合方案，主要从下面两种方案进行生物识别技术的进一步研究，现阶段特征融合可分为两种[10]：
（1）手形特征与掌纹特征进行多模态生物特征融合。
- 13 -
（2）手形特征与采用不同方式所获得的掌纹特征在特征层进行生物融合。 虽然它们都是以获得更多的分类信息为主要目的，但是性质却并不相同，可以把第一种融合看做是横向的，严格意义上讲就是一种多模态生物识别技术，掌纹特征与手形特征是多模态生物特征的两个部分，这种方式下，虽然每种模态下生物特征都是单独提取的，它们在物理层面上是相互独立的，所得特征更容易获取互补的信息，为进一步识别提供良好基础。识别过程可以如图2-6所示：
掌纹掌纹特征特征特特征征融融合合模模式式识识别别决决策策结结果果手形手形特征特征 图2-6 多模生物特征融合
Pig.2-6 Multi-modal biometric fusion
第二种方式是对生物识别的一种纵向研究，掌纹特征包含着丰富的信息，但是每一种特征提取方式都是对某一侧面信息的获取，显而易见，信息获取的更加全面才能对识别更加有利，此种方式中，掌纹特征是通过多种方式进行提取的，能够更加充分的利用掌纹信息。识别过程如图2-7所示：
特征特征11特征特征22掌纹掌纹特征特征nn特特征征融融合合模模式式识识别别决决策策手形手形 图2-7 多特征下的多模融合
Pig.2-7 Multimode multi feature fusion
- 14 -