《模式识别》 实验指导书
河北工业大学信息工程学院 《模式识别》课程组
2008年1月
前 言
模式识别是电子信息工程专业的一门重要的专业选修课。其目的是通过对模式识别基本理论、概念和方法的学习，使学生能够灵活运用所学知识，借助计算机解决实际工程应用中的自动识别问题。而模式识别实验是本门课程重要的教学环节,其目的是使学生掌握统计模式识别中常见分类方法的算法设计及其验证方法，通过接受实验的训练，以提高学生的分析和解决问题的能力。为此，河北工业大学信息工程学院编写了《模式识别实验指导书》。在编写中由于可供参考的实验指导资料有限，因此本书肯定存在不少不妥之处，恳请读者予以批评指正。
本实验指导书共包含三个实验。第一个实验为安装并使用模式识别工具箱，通过本次实验可以让学生了解模式识别软件的具体形态、基本设置以及运行流程，了解一些基本识别方法的工作过程。第二个实验为用人工神经网络对二维样本进行分类，通过本次实验可以让学生掌握人工神经网络的运行机理，了解神经网络在解决实际问题时如何进行参数设置和模型选择。第三个实验为用支持向量机进行人脸识别，通过本次实验可以让学生掌握支持向量机的运行机理、参数选择与快速算法等，了解在实际分类中学习样本库的重要性。
2
目 录
实验一 安装并使用模式识别工具箱----------------------------------------------------------4 实验二 用人工神经网络对二维样本分类---------------------------------------------------13 实验三
用支持向量机进行人脸识别---------------------------------------------------------22 3
实验一 安装并使用模式识别工具箱 （2学时）
一、实验目的
1．掌握安装模式识别工具箱的技巧，能熟练使用工具箱中的各项功能； 2．熟练使用最小错误率贝叶斯决策器对样本分类； 3．熟练使用感知准则对样本分类； 4．熟练使用最小平方误差准则对样本分类；
5．了解近邻法的分类过程，了解参数K值对分类性能的影响（选做）； 6．了解不同的特征提取方法对分类性能的影响（选做）。
二、实验内容
1．安装模式识别工具箱；
2．用最小错误率贝叶斯决策器对呈正态分布的两类样本分类；
3．用感知准则对两类可分样本进行分类，并观测迭代次数对分类性能的影响； 4．用最小平方误差准则对云状样本分类，并与贝叶斯决策器的分类结果比较； 5．用近邻法对双螺旋样本分类，并观测不同的K值对分类性能的影响（选做）； 6．观测不同的特征提取方法对分类性能的影响（选做）。
三、实验仪器、设备
1． PC机－系统最低配置 512M 内存、P4 CPU；
2． Matlab 仿真软件 － 7.0 / 7.1 / 2006a等版本的Matlab 软件。
四、实验原理
1．模式识别工具箱
模式识别工具箱是学习模式识别基本原理、灵活应用既有的模式识别方法、开发研制新的识别方法、提高学生分析和解决问题能力的一个良好平台。本实验采用的模式识别工具箱是由Elad Yom-Tov，Hilit Serby和David G. Storka等人开发的。
2．最小错误率贝叶斯决策器
在模式识别领域，贝叶斯决策通常利用一些决策规则来判定样本的类别。最常
4
见的决策规则有最大后验概率决策和最小风险决策等。设共有K个类别，各类别用符号ck?k?1,2,?,K?代表。假设ck类出现的先验概率P?ck?以及类条件概率密度
P?x|ck?是已知的，那么应该把x划分到哪一类才合适呢？若采用最大后验概率决策
规则，首先计算x属于ck类的后验概率
P?ck|x??P?ck?P?x|ck?P?ck?P?x|ck?
?KP?x??P?ck?P?x|ck?k?1
然后将x判决为属于ck~类，其中
??argmaxP?c|x? kk1?k?K若采用最小风险决策，则首先计算将x判决为ck类所带来的风险R?x,ck?，再将x判决为属于ck~类，其中
??minR?x,c? kkk可以证明在采用0-1损失函数的前提下，两种决策规则是等价的。
贝叶斯决策器在先验概率P?ck?以及类条件概率密度P?x|ck?已知的前提下，利用上述贝叶斯决策规则确定分类面。贝叶斯决策器得到的分类面是最优的，它是最优分类器。但贝叶斯决策器在确定分类面前需要预知P?ck?与P?x|ck?，这在实际运用中往往不可能，因为P?x|ck?一般是未知的。因此贝叶斯决策器只是一个理论上的分类器，常用作衡量其它分类器性能的标尺。
3．感知准则
设有一组样本x1,x2,?,xN，其中xn是规范化增广样本向量。现欲寻找一个解向量a，使得aTxn?0。感知准则通过使
JP?a?????ax??0
Tx?R最小而求出向量a，其中R是被解向量a错分的样本集。上式一般用梯度下降法求解。
4．最小平方误差准则
设有一组样本x1,x2,?,xN，其中xn是规范化增广样本向量。现欲寻找一个解向
5