3.3EM算法
EM算法是 Dempster，Laind，Rubin 于1977年提出的求参数极大似然估计的一种方法，它可以从非完整数据集中对参数进行MLE估计。 EM算法流程： 初始化分布参数?
重复以下步骤直到收敛：
E步骤：根据参数初始值或上一次迭代的模型参数来计算出隐形变量的后验概率，即隐性变量的期望，将其作为隐藏变量的现估计值：
M步骤：将似然函数最大化以获得新的参数值
3.4Baum-Welch 解决 HMM问题3
该问题是对于一个观察值序列O?O1,O2....Ot，如何调整HMM模型????,A,B?的参数，从而使p?O|??最大。
采用递归的思想，从局部最大递归至全局最大。
定义辅助变量：对于给定的训练序列O，HMM模型?，马尔科夫链在t时刻的状态为i，在t+1时刻的状态为j的概率：?t?i,j??pqt?S,qt?1?Sj|O,?，其也可表示为：
???t?i,j??p?qt?i,qt?1?j,O|??p?O|??
?t?i,j???t?i?ai,j?t?1?j?bj?Ot?1?????i?ati?1j?1NN
i,j?t?1?j?bj?Ot?1?另外一个辅助变量是后验概率，该概率表示的是HMM模型在t时刻的状态为i的概率：
?t?i??p?qt?i|O,??
??i??t?j??t?i??Nt ??t?i??t?j?i?1两个辅助变量的关系是：
?t?i????t?i,j?
j?1N如果对于时间轴t上的所有?t?i?相加，我们可以得到一个总和，它可以被解释为从其他隐藏状态访问Si 的期望，或者如果我们求和时不包括时间轴上的t = T 时刻，那么它可以被解释为从隐藏状态Si 出发的状态转移期望值。相似地，如果对?t?i?在时间轴t 上求和（从t=1 到t=T-1），那么该和可以被解释为从状态Si 到状态Sj 的状态转移期望值。
???i?=expected number of transition from S
tT?1t?1i???i,j?=expected number of transition from StoS
tT?1t?1ij
使用Baum-Wclch算法对???N,M,A,B,??进行参数估计，从而使得p?O|??这个概率最大。
计算过程如下：
1、计算向前变量?，向后变量?，两个辅助变量? ?
2、使用下面公式对HMM模型的参数进行估计，得到的新模型为?
???t?i?,1?i?N
ai,j????i,j?tt?1T?1t?1T?1???i?t,1?i?N,1?j?N
bj?k??tt?1,Ot?VkT?1t?1???i,j????i?tT?1,1?j?N,1?k?M
重复上述过程，直至p?O|??不再明显增大，就认为p?O|??收敛，这样对样本HMM训练完成。
4人脸的 EHMM 模型
人脸图像是二维的，仅用一维的 HMM 模型对人脸图像进行描述并不精确。为了提高人 脸识识别的精确度，Nefian 提出了嵌入式隐马尔可夫模型（Embedded Hiden Markov Model， EHMM）。对于嵌入式隐马尔可夫模型的研究是建立在 HMM 的基础上的。HMM 模型表示的是人脸图片从上到下的结构特点，同样，人脸具有从左到右的稳定结构。可以对人脸图片先进行上到下的划分，得到人脸一维 HMM 模型，称之为主 HMM。在已经划分出的五个状态从水平方向再进行一次划分，可以到的 5 组水平方向的 HMM 状态，这 5 组 HMM 称之为子 HMM。主 HMM 的状态通常情况下被称为超状态（Super State），子状态（State）则是水平方向的子 HMM 的状态。由于子 HMM 是限定在主 HMM 内部进行划分的，所以将这种模型称之为嵌入式隐马尔可夫模型（EHMM）。
4.1离散余弦变换
离散余弦变换时一种常用的数据压缩方法。压缩质量接近于信息压缩的最优变换—KL。对于一副图像M*N的数字图像f?x,y?，其2D离散余弦变换定义为：
??2x?1??????2y?1?v??C?u,v??a?u?a?v???f?x,y?cos??cos??
2M2N????x?0y?0M?1N?1式中，C??,v?为变换结果，也称作DCT系数，a???,a?v?定义为：
a?????12MM,??0,??1,2,...,M?1
a?v???1,v?0N 2,v?1,2....,N?1N离散余弦变换的特点：频域变化因子? ，v较大时，DCT系数C??,v?的值很小，而数值较大的C??,v?主要分布在? ，v较小的左上角区域，也就是有用信息的集中区域。
4.2二维Gabor小波
小波函数的实质是：带通滤波器。
Gabor滤波器可以看作是一个对方向和尺度敏感的方向性的显微镜,Gabor滤波器函数将在与其震荡垂直的边沿处产生强烈的响应,而边缘对物体的识别是至关重要的,Gabor滤波器函数还能够检测到(即响应)图像中的一些具有相应的方向频率信息的局部的显著特征,从而可以形成亮点图像的局部特征图谱,这些局部特征形成了原始输入图像的一种鲁棒、紧凑的特征表示
Gabor小波变换作为唯一能够取得空域和频域联合不确定关系下限的Gabor核函数 经常被用作小波基函数,是图像的多尺度表示和分析的有力工具,二维Gabor滤波器的函数形式可以表示为：
??z??kk2?e2?k2z22?2?eikz?e??22?
z??x,y?.方括号中的第一项决定了 Gabor核的震荡部分,刻画图像边缘部分的特性,第二项为补偿直流分量,用以消除和函数响应对图像亮度绝对值变化的依赖,以保证不同亮度值构成的均匀亮度区域的响应接近相同。其中,参数k控制着高斯窗口的宽度、震荡部分的波长和方向,参数?则决定了窗口的宽度和波长的比例关系。
上式定义的Gabor核函数可以定义出一组滤波器。在进行运算过程中，需要对核函数进行频域下采样，即将k离散化： k?kveu
其中，?u???/8，体现滤波器的方向性，kv?kmaxf，为滤波器的采样频率，v和?为尺度参数和方向参数，一般情况下v??0,1...4?,???0.,1....7?。
脸图像的Gabor特征由人脸图像和Gabor滤波器组卷积得到,令f?i,j?表示人脸图像的灰
vi?度分布,那么f?i,j?和Gabor滤波器的卷积可定义为: G?x,y,?,v??f?x,y????,v?z?
Gabor卷积过程实际产生由实部和虚部两个分量构成的复数响应,在边缘附近,Gabor变换的实部和虚部会产生振荡,而不是一个平滑的峰值响应，而幅值的变化相对平滑而稳定,人脸识别的Gabor特征通常只是采用Gabor特征的幅值,也就是实部和虚部的模值。 提取到的Gabor特征维数巨大，需要后续的降维处理。（PCA降维）
4.3人脸特征向量的提取
使用二维离散余弦变换对人脸图片进行特征提取，对于一副图像，其2D-DCT变换为：
??2x?1??????2y?1?v??C?u,v??a?u?a?v???f?x,y?cos??cos??，
2N?2M???x?0y?0M?1N?1 图像变换为能量集中在低频区域，所以选择低频系数作为观察向量。从而降低里观察向量
的维数，从而减少了进行HMM训练时和识别的计算量。
对图片进行特征提取时，并不是对整幅图片进行 2D-DCT 采样，而是对图片使用遍历 的算法进行采样，采样时，使用像素值为P（宽度）*L（长度）的采样窗口在图像上从左至 右，从上到下进行滑动，相近的采样窗口移动的步长为 X *Y，采样完毕后截取 2D-DCT 变 换的低频系数作为特征向量，这样可以得到 EHMM 模型中各个状态所代表人脸区域中的特征向量，从而对人脸图片进行更为精确的 EHMM 建模。
4.4HMM 算法的训练和识别过程
4.4.1训练过程
训练就是指将样本库中的每一个人的人脸图像确定 HMM 参数、建立 HMM 模型的过程。
（1）首先要将图像进行均匀的分割，并且提取出对应图像的观察值序列。
（2）对 HMM 的参数进行初始化，确定模型的状态数和观察序列向量的大小。 （3）使用迭代计算初始的 HMM 参数。首先将图像统一分割以对应 HMM 的每一个状态。 然后用 Viterbi 分割（在 EHMM 中使用双重 Viterbi 分割）代替上述的分割。这一过程将输出一个初始的 HMM 参数，作为进行下一次重估 HMM 参数的输入。
（4）用 Baum-Welch 算法对上面得到的 HMM 参数进行重估。依据训练图像的观察向量， 将 HMM 参数调整到一个局部最大值。这个过程得到的输出就可以训练图像的 HMM 最终模型。
4.4.2识别过程
HMM 的识别过程是先提取待识别图像的观察向量，然后用 Viterbi 算法计算该图像属于 每个人的概率，取概率最大的那个作为识别结果。具体过程为： （1）提取待识别图像的观察向量序列Oreg。
（2）用获得的观察向量计算与每一个人 HMM 模型的匹配程度，假设有 M 个人，计算
p?Oreg|?k?,1?k?M
在实际计算中，经常以 Viterbi 算法计算得到的最大相似概率作为上述概率的代替。 （3）选取上述概率最大的值作为识别结果，或当最大值不满足识别阈值时判断为该人脸 图片不属于该人脸库中的人物。 识别过程如下图：
P(O|R1)是待识别人脸图像特征提取得到观察向量序列P(O|R2)选取最大概率高于阈值识别结果否不存在识别任务P(O|RN)