此产生的一系列需要解决的问题使得人脸检测开始作为一个独立的课题受到研究者的重视。
人脸是人类具有相当复杂的细节变化的自然结构目标，此类目标的检测问题挑战性在于：(1)人脸由于外貌、表情、肤色等不同，具有模式的可变性；(2)人脸上有可能存在眼镜、胡须等附属物；(3)作为三维物体的人脸的影像不可避免地受由光照产生的阴影影响。因此，如果能够找到解决这些问题的方法，成功构造出人脸检测与跟踪系统，将为解决其它类似的复杂模式检测问题提供重要线索。
目前，国内外对人脸检测问题的研究很多。国外比较著名的有MIT，CMU等；国内有清华大学、中国科学院计算技术研究所和中国科学院自动化研究所等。并且，MPEG7标准组织已经建立了人脸识别草案小组，人脸检测算法也是一项征集的内容。随着人脸检测问题研究的深入，国际上发表的有关论文数量也大幅度增长。
根据肤色进行人脸检测是目前较流行的一种算法。文献[14,15]提出了使用颜色的方法来检测人脸。文献[14]使用多个神经网络分类器来分类颜色直方图，并对分类结果输入神经网络进行再分类。文献[15]使用RGB颜色空间来检测人脸，并对候选区域进行眼、嘴、脸型轮廓检测，达到精确检测的目的。肤色的方法简单易行，但是当非人脸区域颜色与人脸颜色相似的情况下，容易发生误检。
模板匹配也是目前较流行的人脸检测算法。文献[30]采用双眼与人脸模板匹配的算法并引入两个分类器进行人脸检测。第一个分类器检测非人脸区域；第二个分类器对第一个分类器分类结果进行分类，检测出人脸。文献[29]采用肤色边缘分析和人脸模板匹配的算法检测人脸。首先采用肤色边缘分析，粗略得到肤色边缘图一；然后利用一维人脸模板匹配肤色边缘图一，进一步准确得到人脸区域，得到肤色边缘图二；最后利用二维人脸模板匹配肤色边缘图二，精确得到肤色边缘图三，即人脸边缘图。文献[29]采用的算法能够实时处理每帧图像，并且检测准确率达到92%。
对人脸明显特征区域(眼、口、鼻等)进行检测是目前常用的人脸检测算法之一。文献[31]对人脸嘴唇区域进行特征提取，作为区分人脸区域与非人脸区域的方法。对人脸明显特征区域进行特征提取的算法一般作为人脸检测的辅助算法，当粗略检测出候选区域后，对候选区域进行眼口鼻特征提取，进一步准确检测。
基于分割的方法也是目前常用的人脸检测方法之一。文献[32]使用了一种基于分割的人脸检测算法。首先分割非人脸区域和人脸区域以减少检测时间，后续步骤只需对原来图像1%区域进行人脸检测，大大缩小了检测时间。
基于分类器和训练方法的人脸检测也是目前常用的一种方法。文献[36,37]基于AdaBoost的方法检测人脸。文献[33,35]采用神经网络分类器的方法检测人脸，并
且在图像质量较低的情况下取得了较好的效果。文献[34]采用了一种基于训练的方法检测人脸，采用SVM和Kalman相结合的方法。在SVM分类出人脸的基础上，Kalman对检测出的目标进行跟踪，进一步优化结果，提高准确率。
1.2.3人脸跟踪研究现状
人脸跟踪是目标跟踪的主要研究方面之一。人脸跟踪是人脸检测问题的发展。人脸跟踪技术是一种具有重要应用价值的技术。它在人脸识别、视频编码、视频检索和机器人视觉等方面都有关键的作用，受到很多研究人员的重视。所谓人脸跟踪，是指在给定视频中，确定人脸的运动轨迹及其大小变化的过程。人脸跟踪技术涉及到模式识别、图像处理、计算机视觉、生理学及形态学等诸多学科。目前常见的跟踪技术大致可以分为四类：基于模型跟踪，基于运动信息跟踪，基于人脸局部模型跟踪和基于分类器跟踪。跟踪方法都是运用相关的启发性知识来限定搜索空间，以达到快速跟踪的目的。
由于人脸角度和神情的改变以及目标遮挡等，导致人脸跟踪存在以下难点：(1)类似人脸目标与人脸区分问题。目前普遍存在的算法在将人脸与其它类似人脸目标分开时存在一定难度。(2)目标遮挡问题。目标部分遮挡和完全遮挡一直是目标跟踪中的重点和难点，对于人脸跟踪也是如此。在二维图像中，唯有提高算法鲁棒性增加跟踪准确率。
基于模型的跟踪方法分为肤色模型、椭圆模型、纹理模型和可变形模型等。肤色是人脸最重要而且最明显的特征，人脸面部肤色特征可以用几个参数来表示，在一定光照条件下，肤色特征基本保持不变。基于肤色模型的跟踪方法[27,38]就是利用恰当的表色系统，把肤色作为实现人脸跟踪的关键信息。由于肤色信息具有放大和缩小以及对微小变形不敏感的优点，并且人脸相对镜头的变化对肤色信息本身的影响不大，该类方法很容易在前一帧图像分析结果的基础上跟踪到后一帧图像的人脸区域，因此具有速度快等特点。文献[38]采用基于肤色模型的方法。首先，人脸目标捕获和系统初始化阶段使用肤色分类和统计人脸模型匹配来找到人脸目标。然后，利用粒子滤波技术跟踪人脸运动的状态空间，最后，根据光流信息得到运动信息从而进行样本重划分。该系统较好的解决了人脸跟踪的实时性。由于绝大部分人脸轮廓近似为椭圆形状，很多研究员利用此特征建立椭圆模型来实现人脸跟踪。该特征能够在自然光照条件下取得较为满意的跟踪结果，同时对人脸在旋转、缩放和遮挡等条件下，多人脸背景下的跟踪有较强的鲁棒性。利用纹理信息和特征点之间的形状约束可以加大跟踪的准确性，但实时性有待加强。Goldenstein和Vogler[39]等人利用可变形模型和预测滤波器实现在劣质图像序列中跟踪三维人脸。该方法在质量较低的图像序列中提取信息有很好的鲁棒性。基
于模型的方法跟踪速度快，但受模型本身的限制，一旦跟踪环境发生变化难以得到较好的处理效果。
基于运动信息跟踪法[25]利用图像连续帧之间目标运动的连续性规律，对人脸区域进行预测以达到快速跟踪的目的。通常采用运动分割、光流和立体视觉等方法，利用时空梯度，卡尔曼滤波器进行跟踪。光流是空间运动物体被观测面上的像素点运动产生的瞬时速度场，包含了物体三维表面结构和动态行为的重要信息。一般情况下，光流由摄像机运动、场景中目标运动或者两者的运动产生。光流法的优点在于对目标在帧间的运动限制较小，可以处理较大的帧间位移；对噪声的敏感较小。缺点是稀疏光流场，导致难于提取运动目标的精确形状；特征匹配问题尚未得到较好解决。块匹配法是图像处理中最常用的方法。图像由运动的块构成，下一帧的块是经上一帧的块经过形变平移得到。标定一些人脸的特征点，利用卡尔曼滤波器等预测一个搜索窗口，在这个搜索窗口内搜索与特征点灰度分布相似的点，通过这些点确定被跟踪人脸的运动状况。块匹配法具有精度高、不依赖于具体目标模型等优点，可用于实现人头部自由运动的跟踪。基于运动能量的方法是运动检测一种常用的方法。这种方法计算简单，运算速度快，比较适合实时处理。
基于人脸局部特征跟踪法的主要思想根据不同的人脸器官特征信息进行器官跟踪，这类方法经常利用眼睛、嘴和鼻子等器官特征信息进行跟踪定位。基于KLT算法的人脸特征点跟踪是目前常用的一种人脸算法。KLT算法是一种以待跟踪窗口W在视频图像帧间的灰度差平方和SSD(Sum of Squared intensity Differences, SSD)作为度量的跟踪算法。
基于分类器的人脸跟踪是目前较流行的一种跟踪方法。神经网络等分类器具备人脑思维的一些典型特征，如自组织、联想记忆、非线性、大规模并行连接等，并且具备强大的学习能力。将分类器用于人脸跟踪具有一定的优势。
第2章 目标信息提取研究现状综述
本文研究的目标信息提取包括图像分类后得到的图像密度等级，人脸检测后得到的客流流量和人脸跟踪后得到的人群速度。图像分类、人脸检测和人脸跟踪均是目前视频图像处理研究的热点和难点。如何提取图像有效特征是进行图像分类和人脸检测、跟踪的基础；采用有效分类器进行特征向量分类是关键。
2.1 目标特征提取方法
特征提取是图像视频处理中非常重要的部分。提取的特征向量好坏，直接影响到最终结果的准确率。特征提取在图像分类、人脸检测和人脸跟踪中具有极为重要的作用，是分析和处理图像的前提。特征提取在图像视频处理的其它方面也有很重要的应用，例如目标识别等。
特征提取技术包括基于文本的特征提取技术和基于视觉的特征提取两类。其中基于文本的特征包括关键字和注释等；基于视觉特征的提取技术有图像颜色提取、纹理分析、形状分析和空间关系等。视觉特征又可分为通用的视觉特征和领域相关的视觉特征。其中通用的视觉特征用于描述所有图像共有的特征，与图像的具体类型或内容无关，主要包括色彩、纹理和形状；与领域相关的视觉特征则建立在对所描述图像内容的某些先验知识或假设的基础上，与具体的应用紧密有关，例如人的面部特征或指纹特征等。
基于颜色的特征提取算法是目前特征提取中广泛应用的一种算法。在一幅图像的各种特征中，颜色特征是其中最直观、最明显的特征。颜色空间按照基本结构可以分为两大类，基色颜色空间和亮、色分离颜色空间。前者的典型代表是RGB(Red Green Blue, RGB)颜色空间，还包括CMYK(Cyan Magenta Yellow Black, CMYK)等。后者包括一批色相类颜色空间，用分离的亮度和色差来描述色彩分量。色相、饱和度和亮度空间(Hue Saturation Intensity, HSI)空间也是与亮色分离颜色空间的一种。
RGB颜色空间与YCbCr空间的转换公式如公式2.1所示。从RGB颜色空间到HSI颜色空间的转换公式如公式2.2所示。
Y?0.299R?0.587G?0.114BCb?0.169R?0.331G?0.500B (2.1) Cr?0.500R?0.419G?0.081B文献[19,20]采用颜色特征进行人脸检测和跟踪。采用颜色作为提取的图像特征时，主要应用颜色直方图作为提取的特征向量。
??H???360??S?1?,B?G,B?G???1??cos?1??((R?G)2?(R?B)*(G?B))2?3min(R,G,B)R?G?B1I?(R?G?B)31(2*R?G?B)2 (2.2)
??????基于颜色的特征提取算法对图像尺寸、方向、视角等依赖性小，鲁棒性高，计算图像间的相似性比较简单，但它不能反映图像中对象的空间特征。它描述不同色彩在整幅图像中所占的比例，而不关心其空间位置，无法描述图像中的对象。图2.1中两幅图像完全不同，但是基于颜色直方图提取的特征向量完全相同，只是基于颜色直方图无法将两幅图像区分开。并且当非目标区域具有类似目标区域的颜色分布时，只是基于颜色的特征提取算法将失效。
图2.1 颜色特征提取直方图相同
基于纹理的特征提取算法在图像分类中有重要作用。纹理特征(图2.2)可以对纹理图像进行特征提取，它是一种不依赖于亮度而可反映图像中同质现象的视觉特征，包含了物体表面结构组织排列的重要信息以及它们与周围环境的联系。根据不同的分析方法，可以将纹理特征分为统计分析方法，结构分析方法和频谱分析方法。常用的纹理特征有Tamura纹理特征，自回归纹理模型，GLDM和小波变换等。图2.2列出了几组具有明显不同纹理的纹理特征图。
图2.2 纹理特征图
由于边缘检测算法的限制，Tamura等[21]提出了Tamura纹理特征。此纹理特征的六个特征分量对应于心理学角度上纹理特征的六种属性，分别是粗糙度，对