第一章 多元分析概述
第一节 引言
多元统计分析是运用数理统计方法来研究解决多指标问题的理论和方法。近30年来，随着计算机应用技术的发展和科研生产的迫切需要，多元统计分析技术被广泛地应用于地质、气象、水文、医学、工业、农业和经济等许多领域，已经成为解决实际问题的有效方法。然而，随着Internet的日益普及，各行各业都开始采用计算机及相应的信息技术进行管理和决策，这使得各企事业单位生成、收集、存储和处理数据的能力大大提高，数据量与日俱增，大量复杂信息层出不穷。在信息爆炸的今天，人们已经意识到数据最值钱的时代已经到来。
显然，大量信息在给人们带来方便的同时也带来一系列问题。比如：信息量过大，超过了人们掌握、消化的能力；一些信息真伪难辩，从而给信息的正确应用带来困难；信息组织形式的不一致性导致难以对信息进行有效统一处理等等，这种变化使传统的数据库技术和数据处理手段已经不能满足要求.Internet的迅猛发展也使得网络上的各种资源信息异常丰富，在其中进行信息的查找真如大海捞针。这样又给多元统计分析理论的发展和方法的应用提出了新的挑战。
多元统计分析起源于上世纪初，1928年Wishart发表论文《多元正态总体样本协差阵的精确分布》，可以说是多元分析的开端。20世纪30年代R.A. Fisher 、H.Hotelling、S.N.Roy、许宝騄等人作了一系列得奠基性工作，使多元分析在理论上得到了迅速得发展。20世纪40年代在心理、教育、生物等方面有不少得应用，但由于计算量大，使其发展受到影响，甚至停滞了相当长得时间。20世纪50年代中期，随着电子计算机得出现和发展，使多元分析方法在地质、气象、医学、社会学等方面得到广泛得应用。20世纪60年代通过应用和实践又完善和发展了理论，由于新的理论、新的方法不断涌现又促使它的应用范围更加扩大。20世纪70年代初期在我国才受到各个领域的极大关注，并在多元统计分析的理论研究和应用上也取得了很多显著成绩，有些研究工作已达到国际水平，并已形成一支科技队伍，活跃在各条战线上。
在20世纪末与本世纪初，人们获得的数据正以前所未有的速度急剧增加，产生了很多超大型数据库，遍及超级市场销售、银行存款、天文学、粒子物理、化学、医学以及政府统计等领域，多元统计与人工智能和数据库技术相结合，已在经济、商业、金融、天文等行业得到了成功的应用。
为了让人们更好的较为系统地掌握多元统计分析的理论与方法，本书重点介绍多元正态总体的参数估计和假设检验以及常用的统计方法。这些方法包括判别分析、聚类分析、主成分分析、因子分析、对应分析、典型相关分析、多维标度法以及多变量的可视化分析等。与此同时，我们将利用在我国广泛流行的SPSS统计软件来实现实证分析，做到在理论的学习中体会应用，在应用的分析中加深理论。
第二节 应用背景
二、多元统计分析方法的应用
这里我们要通过一些实际的问题，解释选择统计方法和研究目的之间的关系，这些问题以及本书中的大量案例能够使得读者对多元统计分析方法在各个领域中的广泛应用有一定的了解。多元分析方法从研究问题的角度可以分为不同的类，相应有具体解决问题的方法，参看表1.1。
多元统计分析方法在经济管理、农业、医学、教育学、体育科学、生态学、地质学、社会学、考古学、环境保护、军事科学、文学等方面都有广泛的应用，这里我们例举一些实际问题，进一步了解多元统计分析的应用领域，让读者从感性上加深对多元统计分析的认识。
问题 内容 方法 尽可能简单地表示所研究的现多元回归分析、聚类分析、象，但不损失很多有用的信息，主成分分析、因子分析、相数据或结构性化简 并希望这种表示能够很容易的应分析、多维标度法、可视解释。 化分析 分类和组合 基于所测量到的一些特征，给出判别分析、聚类分析、主成好的分组方法，对相似的对象或分分析、可视化分析 变量分组。 变量之间是否存在相关关系，相多元回归、典型相关、主成关关系又是怎样体现。 分分析、因子分析、相应分变量之间的相关关系 析、多维标度法、可视化分析 预测与决策 通过统计模型或最优准则，对未多元回归、判别分析、聚类来进行预见或判断。 分析、可视化分析 检验由多元总体参数表示的某多元总体参数估计、假设检假设的提出及检验 种统计假设，能够证实某种假设验 条件的合理性。 1、城镇居民消费水平通常用八项指标来描述，如人均粮食支出、人均副食支出、人均烟酒茶支出、人均衣着商品支出、人均日用品支出、人均燃料支出、人均非商品支出。这八项指标存在一定的线性关系。为了研究城镇居民的消费结构，需要将相关强的指标归并到一起，这实际就是对指标进行聚类分析。
2、在企业经济效益的评价中，涉及到的指标往往很多，如百元固定资产原值实现产值、百元固定资产原值实现利税、百元资金实现利税、百元工业总产值实现利税、百元销售收入实现利税、每吨标准煤实现工业产值、每千瓦时电力实现工业产值、全员劳动生产率、百元流动资金实现产值。如何将这些具有错综复杂关系的指标综合成几个较少的因子，既有利于对问题进行分析和解释，又能便于抓住主要矛盾做出科学的评价。可用主成分分析和因子分析法。
3、某一产品是用两种不同原料生产的，试问此两种原料生产的产品寿命有无显著差异？又比如，若考察某商业行业今年和去年的经营状况，这时需要看这两年经营指标的平均水平是否有显著差异以及经营指标之间的波动是否有显著差异。可用多元正态总体均值向量和协差阵的假设检验。
4、按现行统计报表制度，农村家庭纯收入是指农村常住居民家庭总收入中扣除从事生产和非生产经营用支出、税款和上交承包集体任务金额以后剩余的、可直接用于进行生产的、非生产性建设投资、生产性消费的那一部分收入。如果我们收集某年各个省、自治区、直辖市农民家庭人均纯收入的数据，可以用相应分析，揭示全国农民人均纯收入的特征以及各省、自治区、直辖市与各收入指标的关系。
5、某医院已有100个分别患有胃炎、肝炎、冠心病、糖尿病等的病人资料，记录了他们每个人若干项症状指标数据。如果对于一个新的病人，当也测得这若干项症状指标时，可以利用判别分析方法判定他患的是哪种病。
6、有100种酒，品尝家可以对每两种酒进行品尝对比，给出一种相近程度的得分（越相近得分越高，相差越远得分越低），希望用这些得分数据来了解这100种酒之间的结构关系。这样的问题就可以用多维标度法来解决。
7、在地质学中，常常要研究矿石中所含化学成分之间的关系。设在某矿体中采集了60个标本，对每个标本测得20个化学成分的含量。我们希望通过对这20个化学成分的分析，了解矿体的性质和矿体形成的主要原因。
8、对1000个类似的鱼类样本，如何根据测量的特征如体重、身长、鳍数、鳍长、头宽等，我们可以利用聚类分析方法将这类鱼分成几个不同品种。
9、考古学家对挖掘出来的人头盖骨的高、宽等特征来判断是男或女，根据挖掘出的动物牙齿的有关测试指标，判别它是属于哪一类动物牙齿、是哪一个时代的。
10、在高考招生工作中，我们知道每个考生的基本情况，通过分析我们不仅可以了解到学生喜欢学习的科目，还可以进一步从考生每门课程的成绩，分析出学生的逻辑思维能力、形象思维能力和记忆力等等对学习成绩的影响。
第二章 多元正态分布的参数估计
第一节 引言
多元统计分析涉及到的都是随机向量或多个随机向量放在一起组成的随机矩阵。例如在研究公司的运营情况时，要考虑公司的获利能力、资金周转能力、竞争能力以及偿债能力等财务指标；又如在研究国家财政收入时，税收收入、企业收入、债务收入、国家能源交通重点建设基金收入、基本建设贷款归还收入、国家预算调节基金收入、其他收入等都是需要同时考察的指标。显然，如果我们只研究一个指标或是将这些指标割裂开分别研究，是不能从整体上把握研究问题的实质的，解决这些问题就需要多元统计分析方法。为了更好的探讨这些问题，本章我们首先论述有关随机向量的基本概念和性质。
在实用中遇到的随机向量常常是服从正态分布或近似正态分布，或虽本身不是正态分布，但它的样本均值近似于正态分布。因此现实世界中许多实际问题的解决办法都是以总体服从正态分布或近似正态分布为前提的。在多元统计分析中， 多元正态分布占有很重要地位，本书所介绍的方法大都假定数据来之多元正态分布。为此，本章将要介绍多元正态分布的定义和有关性质。
然而在实际问题中，多元正态分布中均值向量和协差阵通常是未知的，一般的做法是由样本来估计。这是本章讨论的重要内容之一，在此我们介绍最常见的最大似然估计法对参数进行估计，并讨论其有关的性质。
第二节 基本概念
一、随机向量
我们所讨论的是多个变量的总体，所研究的数据是同时p个指标（变量），又进行了n次观测得到的，我们把这个p指标表示为X1 ，X2，L，Xp，常用向量X = (X1 ， X2 ， L ， XP)' 表示对同一个体观测的p个变量。这里我们应该强调，在多元统计分析中，仍然将所研究对象的全体称为总体，它是由许多（有限和无限）的个体构成的集合，如果构成总体的个体是具有p个需要观测指标的个体，我们称这样的总体为p维总体（或p元总体）。上面的表示便于人们用数学方法去研究p维总体的特性。这里“维”（或“元”）的概念，表示共有几个分量。若观测了n个个体，则可得到如表2.1的数据，称每一个个体的p个变量为一个样品，而全体n个样品组成一个样本。
表2.1 数据 变量 Xp X1 X2 序号 1 X1p X11 X12
2
X21
X22
X2p
n
在这里横看表2.1，记为
X(?)?(X?1,X?2, Xj?(X1j,X2j,Xn1 Xn2
Xnp
,Xp?? )， ??1,2,n,
表示第?个样品的观测值。竖看表2.1，第j列的元素
,Xnj)? ， j?1,2,p,
表示对第j个变量Xj的n次观测数值。
因此，表2.1所反映出的样本资料可用矩阵表示为
?X11?X21X??????Xn1X12X22Xn2??X1p??X(1)?X??X2p???(X,X，，X)??(2)? （2.1）
12p???????Xnp?X???(n)??,Xp的整体称为p维随机向量，记为X?(X1,X2,,Xp)?。
简记为X。
定义2.1 将p个随机变量X1,X2,在对随机向量的研究仍然限于讨论离散型和连续型两类随机向量。 二、多元分布
先回顾一下一元统计中分布函数和密度函数的定义。
设X是一个随机变量，称F(x)?p(X?x)为X的概率分布函数或简称为分布函数，记为X~F(x)。 若随机变量在有限或可列个值?xk?上取值，记P(X?xk)?pk，(k?1,2,散型随机变量，称P(X?xk)?pk，(k?1,2,)且?pk?1，则称X为离
k)为X的概率分布。
x??设X~F(x)，若存在一个非负函数f(x)，使得一切实数x有：F(x)??f(t)dt，则称f(x)为X的分布密度函数，简称为密度函数。一个函数f(x)能作为某个随机变量X的分布密度函数的重要条件是： （1）f(x)?0，对一切实数x；
??（2）
???f(x)dx?1。
,Xp)?是p维随机向量，它的多元分布函数定义为
F(x)?F(X1,X2,,Xp)?P(X1?x1,X2?x2,,Xp?xp) （2.2）
定义2.2 设X?(X1,X2,记为X~F(x)，其中x?(x1,x2,,xp)??Rp，Rp表示p维欧氏空间。
多维随机向量的统计特性可用它的分布函数来完整地描述。
定义2.3 设X?(X1,X2,,Xp)?是p维随机向量，若存在有限个或可列个p维数向量x1,x2,?,，记
P(X?xk)?pk，(k?1,2,)且满足p1?p2???1，则称X为离散型随机向量，称P(X?xk)?pk，(k?1,2,)为X的概率分布。
设X~F(x)?F(x1,x2,,xp)，若存在一个非负函数f(x1,x2,?,xp)，使得对一切
x1xpx?(x1,x2,)F1(x,,x?),xp)??Rp有F(x?2x,p????1??f2(t,pt,1t,（)2.3t） dtpd则称X为连续型随机变量，称f(x1,x2,?,xp)为分布密度函数，简称为密度函数或分布密度。
p一个p元函数f(x1,x2,?,xp)能作为R中某个随机向量的密度函数的主要条件是：
p（1）f(x1,x2,?,xp)?0，?(x1,x2,?,xp)??R；
????12p（2）?????f(x,x,?,x??)dx1?dxp?1
离散型随机向量的统计性质可由它的概率分布完全确定，连续型随机向量的统计性质可由它的分布密度完全确定。
【例2.1】 试证函数
?e?(x1?x2),x1?0,x2?0 f(x1,x2)??
其它?0,为随机向量X?(X1,X2)?密度函数。
证：只要验证满足密度函数两个条件即可
（1）显然，当x1?0,x2?0时有f(x1,x2)?0
????????(x1?x2)??1 （2）??edx1?dx2??e?x2dx2??e?x2dx1dx2???edx1dx2????e00?0?????000定义2.4 设X?(X1,X2,,Xp)?是p维随机向量，称由它的q(?p)个分量组成的子向量
?????????(x1?x2)?(x1?x2)??X(i)?(Xi1,Xi2,q,Xiq)?的分布为X的边缘（或边际）分布，相对地把X的分布称为联合分布。通过变
换X中各分量的次序，总可假定X(1)正好是X的前q个分量，其余p?q个分量为X(2)，则
?x(1)??X(1)?X??(2)?，相应的取值也可分为两部分x??(2)?。
?x??X?p?q当X的分布函数是F(x1,x2,,xq)时，X(1)的分布函数即边缘分布函数为：
F(x1,x2,,xq)?P(X1?x1,,Xq?xq)
,Xq?xq,Xq?1??,,?)
,Xp??)
,xq,?, ?P(X1?x1, ?F(x1,x2,为：
????(1)当X有分布密度f(x1,x2,?,xp)时（亦称联合分布密度函数），则X也有分布密度，即边缘密度函数
f1(x1,x2,?,xq)????f(x1,?,xp)dxq?1,?,dxp
????【例2.2】对例2.1中的X?(X1,X2)?求边缘密度函数。
????(x1?x2)dx2?e?x1,x1?0??e解： f(x1)??f(x1,x2)dx2＝?0
???0,其它????e?x2,x2?0 同理f(x2)＝?
0,其它?定义2.5 若p个随机变量X1,X2,,Xp的联合分布等于各自的边缘分布的乘积，则称X1,X2,,Xp是
相互独立的。
【例2.3】 问例2.2中的X1与X2是否相互独立？
?e?(x1,x2),x1?0,x2?0 解：f(x1,x2)＝?
其它?0,?e?x1,x1?0?e?x2,x2?0 fx1(x1)＝? fx2(x2)＝?
其它其它?0,?0,由于f(x1,x2)＝fx1(x1)?fx2(x2)，故X1与X2相互独立。
这里我们应该注意，由X1,X2,定义
2.6
设
,Xp相互独立，可推知任何Xi与Xj(i?j)独立，但反之不真。
X?(X1,X2,,Xp)?，若E(Xi)?(i1,存p在且有限，则称
E(X)?(E(X1),E(X2),为μ和?i，即μ?(?1,?2,,E(Xp))?为X的均值（向量）或数学期望，有时也把E(X)和E(Xi)分别记,?p)?，容易推得均值（向量）具有以下性质：