生物识别系统不仅给人们的生活带来了便利更提高了生活的安全性，生物识别的应用主要分为以下三类：
(1)商业方面：电子数据、电子商务、信用卡、手机、计算机网络登录、医疗教育等。
(2)政府方面：驾驶证、身份证、社会保险医疗、护照、ID卡等。
(3)司法方面：身份辨认，犯罪记录的调查，走失儿童的认领，亲子关系DNA鉴定等。
1.3 国内外研究现状
在国内，多模态生物识别技术的理论研究是主要是由一些高校和科研院所从事的，核心算法的研究方面我们在国际上处于先进水平，但与国外相比，生物识别技术在产业化应用化等方面还有一定的距离与差距，虽然我国的市场需求有所增长，但也仅仅是停留在考勤和门禁等领域，部分原因是国内企业掌握的核心技术有限，国外企业垄断了与其相关的光学、通信等大部分领域。这就是我国生物识别市场于瓶颈期的主要原因。
在国外，不管是从民用还是公用，从国家安防还是消费领域都得到了广泛的应用，例如，手持式指纹设备（IBIS），主要是无限技术的嵌入，能够随时提取指纹并与数据库信息进行对比，在短时间内确认嫌疑犯。在新加坡，利用生物识别技术建立了自动通关同，游客可以凭借包含指纹信息的通行卡，由系统对持卡人和通行卡是否一致进行确认，有效的缩短入境时间。生物识别技术得到了各国的关注。
多模态生物识别方面，最早开始研究的是Brunelli等人，他们主要是利用声音和面部两大生物特征进行融合的识别系统[15]（这主要是由于人脸和声音在当时识别的准确率比较低，而进行融合后提高系统其准确性），并通过HyperBF 网络进行，该研究证明了其可行性。1997年，Multimodal （多模态）这一概念被首次提出，主要是将声音和人脸数据信息集成，并开发了贝叶斯统计框架。 1998年，Jain[16]通过研究其多模态识别理论而提出了新的识别方式，将人脸和指纹作为识别特征，前提条件是人脸和指纹信息必须相互独立，首先利用乘机进行融合，再对所获得的融合信息进行识别。在随后的几年内，Hong 和 Jain等人做了大量工作关于多模态生物识别方面。并对多模式别可以降低其认证错误率进行理论验证，为进一步研究多模式别奠定了扎实的理论基础。
2000年以来，多模式别进入了快速发展时期，伴随着生物识别技术的进步，
- 5 -
从分类集成器的背景分离出来，成为模式识别研究的一个重要领域。不论在理论和实际应用方面都有很大发展，进一步走向实用化。
1.4 论文研究的主要内容
本论文主要是对多模态生物识别技术进行研究，主要是从掌纹特征和手形特征入手，深入研究掌纹特征提取技术，对掌纹进行ROI定位，在图像识别中主要进行灰度图像转换，直方图均衡化，边缘检测和中值滤波等。并且研究手形的特征提取及预处理等技术，从各个方面进行分析和研究，提出在决策级融合方法，结合掌纹和手形各自的特征，并建立应用模型。
本文的组织结构安排如下： 第1章：绪论。本章阐述生物识别系统研究的背景及意义，关于基于传统身份和单一模态下的生物识别方法中的不足进行了讨论，而多模态生物识别技术是当今社会有效的身份验证技术，介绍手形识别与掌纹识别发展背景与特点描述，叙述了国内外的研究现状和其发展过程，并对本论文的工作安排进行描述。
第2章：对信息融合技术进行阐述，对多模态识别技术中融合层次进行划分，对融合的四个层次进行分析和比对，提出双模态生物识别方式。手形特征轮廓提取与掌纹特征区域提取等。在掌纹特征区域提取过程中又对预处理进行叙述，包括灰度转换、中值滤波等步骤。
第3章：详细讲述了基于小波变换算法的掌纹特征提取，包括小波变换的基本原理、快速小波变换算法，不同级别小波分解系数的区分能力。对每个细节图像均等分，然后计算每一块的小波能量，用这些块的能量来构造基于掌纹文理的特征矢量。
第4章：对于特征层融合识别进行典型相关性分析，介绍理论框架、基本思想。此种方法主要是通过引入矫正系数，通过对投影方向上的特征矢量的调整，使准则函数值达到最大的要求。通过实验数据分析两种特征融合，其一是基于手形和掌纹的特征融合，其二是基于手形与不同特征提取方法下的掌纹的特征层融合。
最后，总结和展望，一方面是对全文进行回顾，另一方面是总结当前分析方法的不足还有就是在未来会遇到哪些问题，和多模态生物识别技术未来研究方向。
- 6 -
第2章 多模态生物识别中信息融合理论与方法
2.1 信息融合概述
信息融合是指在一定条件下，对于按时序获得的来自于不同时间空间的多元观测数据和信息进行分析，把各种互补或者相互矛盾的信息依据某一准则进行融合，对完整、准确、有效的综合信息的获得过程。它主要对所提供各种形式的信息进行分析、估计和校准，主要适于对海量数据的进行处理，其优点主要包括以下几方面：
1) 能够扩展系统在时间和空间上的覆盖范围。 2) 增加系统信息利用率。
3）对融合后所得信息准确度的提升。 4）提高对目标识别和检测的能力。 5) 降低系统投入资本。
信息融合技术近年来在军事、医学等多种领域应用广泛，与此同时在民用方面也得到了长足发展，也逐步应用在多模态生物特征识别方面。信息融合技术与传统信号处理相比，关键在于处理的信息更加多元化，其形式更加复杂[5]。信息融合技术即是对于不同渠道和不同层次获得的信息进行分析处理，提取出对判断有利的信息，得出更能反应事物本质的决策。信息融合技术应用的几点优势：
(1) 利用互补信息降低系统错误率。
(2) 能够依靠不同来源的信息来提升稳定性。 (3) 能够多角度获取信息。
在不同层次进行信息融合，得出综合结果，它能够通过互补信息降低错误率，以提高识别度为最终目标。
2.2 多模态生物特征识别研究
对多模态生物特征识别研究可以进行三个类别的划分：模式来源、融合层次及融合方法。
- 7 -
2.2.1 模式源的选择
多模态系统的模式源主要有五种可供选择：
（1）在同一个模式下经过各种不同传感器后所得到的多模态。 （2）在不同状态、不同时刻同一模式形成的多模态。
（3）在不同匹配算法与不同描述下，同一生物体所形成的多模态。 （4）不同单元间在同一模式下多模态的形成。 （5）多模式形成的多模态。
以上五种模式来源，第一种是指多模态产生的方法，仅能解决在传感器方面的误差，对其他问题却无能为力；第二三种是指产生多模态的方法，对系统性能提高有一定帮助，但它们与单一模态有着同样的不足。第四种则需要提供不同的单元。为了达到所构建的多模态系统匹配精度高、抗噪能力强等，最好的办法是用以上方式完成对模式源的获取。
2.2.2 多模态识别中信息融合层次
单模态生物识别在图像采集过程中容易受到外界环境的干扰，识别过程中错误率较高，特征容易丢失，存在一定的安全隐患等问题，任何一种生物特征都有一定的局限性，不能完全适用于任何情况，仅仅依靠单模态生物特征没有办法解决根本问题，而当前多模态生物特征能够弥补单模态下的不足，这也是多模态生物特征识别成为当前研究热点的主要原因。
多模态生物特征识别是对多种生物特征的融合，涵盖着多种信息，更加全面的反映出事物的本质，与单模态相比，伪造难度有所提升，成本上升的同时，它的安全可靠性也提高了。
多模态生物特征识别是指将多个生物特征在不同层次进行融合，再用融合特征进行生物识别的过程，信息融合主要被划分为四个层次[6]，如图所示：
- 8 -
多模态生物特征融合 匹配前 匹配后 图像层特征层 匹配层决策层 图2-1 多模态融合层次划分 Pig2-1 Multi modal fusion hierarchy
1.图像层融合：
图像层融合是多模态融合中最低层次的融合方式，融合过程是在原始数据层上面进行，对没经过预处理和特征提取的原始数据进行分析和综合，主要是将不同渠道、不同路径所获得的信息不经过任何处理融合后得到一副新图像，该图像包含着大量信息而且处理相对比较复杂，在实际应用中不太广泛。例如，指纹识别常用到的条型式指纹传感器，在识别过程中由于每一幅图像含有的信息比较少，主要是多幅图像进行拼接，最后合成一幅可以进行识别的图像。
2.特征层融合
对不同种生物特征信息经过预处理操作后，得到各自的特征矢量，按照某规则将这些特征矢量进行融合，形成一种新的特征，最后对所获得新特征与数据库中的信息进行匹配和判别，虽然其处理数据相对较少，效率也比较高，但是也有其缺点，就是各个特征是两联合有可能存在维数差异，各特征不兼容的状况出现。特征层融合是对多模态各种有效特征的充分利用，包含信息丰富，发展空间较大。它的优点是有效的信息压缩使其能够进行实时处理，对其进行决策分析更加有利。特征层示意图如2-2：
- 9 -