重庆邮电大学本科毕业设计（论文）
一个变量就可以表示。这也就是PCA中“降维”思想的本源。
3. 协方差矩阵
对于上面的简单情况，可以通过简单的线性拟合的方法来判断各观测变量之间是否出现冗余的情况，而对于复杂的情况，需要借助协方差[13]来进行衡量和判断：
ni?1
?2AB??(ai?a)(bi?b)n?1 （4.9）
A，B分别表示不同的观测变量所记录的一组值，在统计学中，由协方差的性质可以得到：
2222，当A=B等价的，将A,B写?0当且仅当观测变量A，B相互独立。?AB?AB?0，且?AB??B成行向量的形式：
A?[a1,a2,...,an]，B?[b1,b2,...,bn] 协方差可以表示为
2?AB?1ABT （4.10） n?1那么，对于一组具有m个观测变量,n个采样时间点的采样数据X，将每个观测变量的值写为行向量，可以得到一个m*n的矩阵：
?x1?? （4.11）X??? ????xm??
接下来定义协方差矩阵如下：
CX?2??x1x1?2??x2x1CX????2??x?mx11XXT （4.12） n?1?x2x??12
2x2x2?x2xm22???x1xm?2??x?1xm? （4.13） ???2???xmxm?容易发现协方差矩阵具有如下性质：
1CX是一个m*m的平方对称矩阵。 ○
2 Cx对角线上的元素是对应的观测变量的方差。 ○
3 非对角线上的元素是对应的观测变量之间的协方差。 ○
协方差矩阵CX包含了所有观测变量之间的相关性度量。更重要的是，根据前两部分的说明，这些相关性度量反映了数据的噪音和冗余的程度。
在对角线上的元素越大，表明信号越强，变量的重要性越高；元素越小则表明可能是存在的噪音或是次要变量。
在非对角线上的元素大小则对应于相关观测变量对之间冗余程度的大小。
- 26 -
重庆邮电大学本科毕业设计（论文）
一般情况下，初始数据的协方差矩阵总是不太好的，表现为信噪比不高且变量间相关度大。PCA的目标就是通过基变换对协方差矩阵进行优化，找到相关“主元”。那么，如何进行优化？矩阵的那些性质是需要注意的呢？
4. 协防差矩阵的对角化
总结上面的部分可以发现主元分析以及协方差矩阵优化的原则是：1）最小化变量冗余即对应于协方差矩阵的非对角元素要尽量小；2）最大化信号即对应于要使协方差矩阵的对角线上的元素尽可能的大。因为协方差矩阵的每一项都是正值，最小值为0，所以优化的目标矩阵CY的非对角元素应该都是0，对应于冗余最小。所以优化的目标矩阵CY应该是一个对角阵。即只有对角线上的元素可能是非零值。同时，PCA假设P所对应的一组变换基必须是标准正交的，而优化矩阵CY对角线上的元素越大，就说明信号的成分越大，换句话就是对应于越重要的“主元”。
对于协方差矩阵进行对角化的方法很多。根据上面的分析，最简单最直接的算法就是在多维空间内进行搜索。和图表4.2(a)的例子中旋转的方法类似：
1在m维空间中进行遍历，找到一个方差最大的向量，令作p1。 ○
2在与p1垂直的向量空间中进行遍历，找出次大的方差对应的向量记作p2 ○
3对以上过程循环，直到找出全部m的向量。它们生成的顺序也就是“主元”的排序。 ○
这个理论上成立的算法说明了PCA的主要思想和过程。在这中间，牵涉到两个重要的特性：1)转换基是一组标准正交基。这给PCA的求解带来了很大的好处，它可以运用线性代数的相关理论进行快速有效的分解。这些方法将在后面提到。2）在PCA的过程中，可以同时得到新的基向量所对应的“主元排序”，利用这个重要性排序可以方便的对数据进行简化处理或是压缩。
五、PCA求解：特征根分解
在线形代数中，PCA问题可以描述成以下形式： 寻找一组正交基组成的矩阵P，有Y=PX，使得CY?就是一 组正交基），就是数据X的主元向量。
对CY进行推导：
CY?1111YYT?(PX)(PX)T?PXXTPT?P(XXT)PT （4.14） n?1n?1n?1n?11CY?PAPT （4.15）
n?1A?EDET （4.16）
- 27 -
1YYT是对角阵。则P的行向量（也n?1
定义A?XXT，则A是一个对称阵。对A进行对角化求取特征向量得：
重庆邮电大学本科毕业设计（论文）
则D是一个对角阵而E则是对称阵A的特征向量排成的矩阵。
这里要提出的一点是，A是一个m*m的矩阵，而它将有p(p<=m)个特征向量。其中p是矩阵A的的秩。如果p<=m，则A即为退化阵。此时分解出的特征向量不能覆盖整个m空间。此时只需要在保证基的正交性的前提下，在剩余的空间中任意取得m-p维正交向量填充E的空格即可。它们将不对结果造成影响。因为此时对应于这些特征向量的特征值，也就是方差值为零
求出特征向量矩阵后我们取P?ET，则A?PTDP，由线形代数知识可知矩阵P有性质
P?1?PT，从而进行如下计算：
1111CY?PAPT?P(PTDP)PT?(PPT)D(PPT)?(PP?1)D(PP?1) （4.17）
n?1n?1n?1n?11CY?D （4.18）
n?1可知此时的P就是我们需要求得变换基。至此我们可以得到PCA的结果： X的主元即是XXT的特征向量也就是矩阵P的行向量。 矩阵CY对角线上第i个元素是数据X在方向pi的方差。 我们可以得到PCA求解的一般步骤：
1采集数据形成m*n的矩阵。m为观测变量个数,n为采样点个数。 ○
2在每个观测变量（矩阵行向量）上减去该观测变量的平均值得到矩阵X。 ○
3对XXT进行特征分解，求取特征向量以及所对应的特征根。 ○
六、PCA的假设
PCA的模型中存在诸多的假设条件，决定了它存在一定的限制，在有些场合可能会造成效果不好甚至失效。PCA的假设条件包括：
1. 线形性假设
如同本节开始的例子，PCA的内部模型是线性的。这也就决定了它能进行的主元分析之间的关系也是线性的。现在比较流行的kernel-PCA的一类方法就是使用非线性的权值对原有PCA技术的拓展。
2. 使用中值和方差进行充分统计
使用中值和方差进行充分的概率分布描述的模型只限于指数型概率分布模型。（例如高斯分布），也就是说，如果我们考察的数据的概率分布并不满足高斯分布或是指数型的概率分布，那么PCA将会失效。在这种模型下，不能使用方差和协方差来很好的描述噪音和冗余，对转换之后的协方差矩阵并不能得到很合适的结果。不过，所幸的是，根据中央极限定理，现实生活中所遇到的大部分采样数据的概率分布都是遵从高斯分布的。所以PCA仍然是一个使用于绝大部分领域的稳定且有效的算法。
- 28 -
重庆邮电大学本科毕业设计（论文）
3. 大方差向量具有较大重要性
PCA方法隐含了这样的假设：数据本身具有较高的信噪比，所以具有最高方差的一维向量就可以被看作是主元，而方差较小的变化则被认为是噪音。这是由于低通滤波器的选择决定的。
4. 主元正交
PCA方法假设主元向量之间都是正交的，从而可以利用线形代数的一系列有效的数学工具进行求解，大大提高了效率和应用的范围。
七、总结：
PCA技术的一大好处是对数据进行降维的处理。我们可以对新求出的“主元”向量的重要性进行排序，根据需要取前面最重要的部分，将后面的维数省去，可以达到降维从而简化模型或是对数据进行压缩的效果。同时最大程度的保持了原有数据的信息。
在前文的例子中，经过PCA处理后的数据只剩下了一维，也就是弹簧运动的那一维，从而去除了冗余的变量，揭示了实验数据背后的物理原理。
PCA技术的一个很大的优点是，它是完全无参数限制的。在PCA的计算过程中完全不需要人为的设定参数或是根据任何经验模型对计算进行干预，最后的结果只与数据相关，与用户是独立的。但是，这一点同时也可以看作是缺点。如果用户对观测对象有一定的先验知识，掌握了数据的一些特征， 却无法通过参数化等方法对处理过程进行干预，可能会得不到预期的效果，效率也不高。
?图4.4 黑点表示采集数据，排列成转盘的形状。容易想象，该数据的主元是(P1,P2)或是旋转角。
- 29 -
重庆邮电大学本科毕业设计（论文）
如图表4.4中的例子，PCA找出的主元将是(P但是这显然不是最优和最简化的主元。1,P2)。
?(P1,P2)之间存在着非线性的关系。根据先验的知识可知旋转角是最优的主元。则在这种情况下，PCA就会失效。但是，如果加入先验的知识，对数据进行某种划归，就可以将数据转化为以?为线性的空间中。这类根据先验知识对数据预先进行非线性转换的方法就成为kernel-PCA，它扩展了PCA能够处理的问题的范围，又可以结合一些先验约束，是比较流行的方法。
有时数据的分布并不是满足高斯分布。如图表 5所示，在非高斯分布的情况下，PCA方法得出的主元可能并不是最优的。在寻找主元时不能将方差作为衡量重要性的标准。要根据数据的分布情况选择合适的描述完全分布的变量，然后根据概率分布式P(y1,y2)=P(y1)P(y2)来计算两个向量上数据分布的相关性。等价的，保持主元间的正交假设，寻找的主元同样要使
P(y1,y2)=0这一类方法被称为独立主元分解(ICA)。
图4.5 数据的分布并不满足高斯分布，呈现明显的十字星状。这种情况下，方差最大的方向并不最优主元
方向。
PCA方法和线形代数中的奇异值分解(SVD)方法有内在的联系，一定意义上来说，PCA的解法是SVD的一种变形和弱化。对于m*n的矩阵X，通过奇异值分解可以直接得到如下形式：
X?U?VT （4.19）
其中U是一个m*m的矩阵，V是一个n*n的矩阵，而?是m*m的对角阵。?形式如下：
0???1????????r ? （4.20）?=?0???????00??- 30 -