东北大学秦皇岛分校毕业设计（论文） 第 16 页
??T}?1 (3.6) E{xx白化这种常规的方法作为ICA的预处理可以有效地降低问题的复杂度，而且算法简单，用传统的PCA就可完成。用PCA对观测信号进行白化的预处理使得原来所求的解混合矩阵退化成一个正交阵，减少了ICA的工作量。此外，PCA本身具有降维功能，当观测信号的个数大于源信号个数时，经过白化可以自动将观测信号数目降到与源信号维数相同。
3.5 独立分量分析独立性的度量
ICA以统计独立为基本原则，统计独立的衡量为ICA算法的关键。这里介绍几种度量独立性的方法。 3.5.1 非高斯性极大
非高斯性的存在是ICA方法必须的前提条件，如果随机变量都是高斯分布，那么ICA方法也就没有研究的必要。实际上，自然界中的大部分随机信号都是超高斯或亚高斯分布，真正满足高斯分布的很少，因此ICA具有极其重要的意义和广泛的应用前景。基于非高斯性极大的ICA思想来自于中心极限定理，中心极限定理表明，当一组均值和方差为同一数量级的随机变量共同作用的结果必接近于高斯分布。因此，如果观测信号是多个独立源的线性组合，那么观测信号比源信号更接近高斯分布，或者说源信号的非高斯性比观测信号的非高斯性要强。根据这一思想，我们可以对分离结果的非高斯性进行度量，当其非高斯性达到最大时，可以认为实现最佳分离。
在实际计算中，非高斯性程度通常采用四阶累积量即Kurtosis(峭度)来表示。
kurt(X)?E?X4??3E?X2? （3.7） 对于零均值，单位方差的随机变量，上式变为：
X)?E?X4??3 kur(t （3.8）
??上式中，当随机变量为高斯分布时，峭度为零，而超高斯分布的峭度为正值，亚高斯分布的峭度为负值，且非高斯性越强，峭度的绝对值越大，在现实世界中，超高斯和亚高斯信号都是普遍存在的。例如：语音信号一般为超高斯分布，自然景物图象一般为亚高斯分布，生物医学信号既有超高斯分布又有亚高斯分布。
另一种用于描述随机变量非高斯的方法是负熵。根据前面对负熵的定义，我们可以
东北大学秦皇岛分校毕业设计（论文） 第 17 页
发现负熵的值总是非负的。只有当随机变量X为高斯分布时，负熵才为零。且在等方差的限定条件下，随机变量的非高斯性越强，其负熵值越大。 3.5.2 互信息最小
从前面信息论的知识我们知道互信息是用来度量随机变量之间独立性的基本准则。互信息通常为非负值，只有当变量之间相互独立时，互信息为0。设N维随机列向量X(t)的pdf为pX?X?，它的各分量Xi?t?的pdf为pi?Xi?，i?1～N。可以用pX?X?和
?p?X?之间的KL发散度来衡量X(t)各分量之间的统计独立性。这一量也称为X(t)iii?1N各分量间的互信息，并表示为I?X?，即有：
N?? I(X＝)KL?pX?X??pi?X?i???pi?1??X?XX????p?X???dX (3.9) l?nNX?pi?Xi??????i?1?可以看到，I(X)?0，pX(X)??pi?Xi?，X(t)的各分量统计独立，这三种表述
i?1N完全等价。所以互信息也可以用来度量独立性。 3.5.3 非线性不相关
由统计分析知识可知，对于统计独立的源信号矢量，其联合概率密度是可分的，且可推出相互独立的随机变量的任意阶联合矩也是可分的。不失一般性，我们假设有两个相互独立的源S1，S2，则有：
p?S1,S2??p?S1?p?S2? （3.10）
ES11S2更一般的描述为：
?kk2??E?S?E?S?k1k212k1,k2为大于零的整数 （3.11）
E?f?S1?g?S2???E?f?S1??E?g?S2?? （3.12）
式中f和g是两个非线性函数。上式表明，随机变量的非线性不相关表示它们相互
东北大学秦皇岛分校毕业设计（论文） 第 18 页
独立。因此ICA输出结果的独立程度可通过在ICA模型的输出端引入非线性环节g???，如图2，并计算非线性输出的协方差矩阵来度量分离结果的独立性。显然，如果输出向量Y??Y1,Y2,?,YN?的各分量是相互独立的，则不仅其协方差矩阵CY是对角矩阵，它的非线性输出Z??Z1,Z2,?,ZN?的协方差矩阵CZ也是对角矩阵。
TTX(t)W Y(t) a(?) Z(t) 图3.2 带有非线性环节的分离模型
非线性不相关用于分离结果独立性的度量，以不同的方式在很多ICA分离算法中得以体现。差别在于非线性函数的选择有所不同，但本质上都是为了充分利用随机变量的高阶统计特性进行盲分离，以实现最佳的分离结果。 3.6 本章总结
本章对ICA的定义、相关数学知识和ICA独立性的度量进行了介绍。ICA理论是20世纪90年代发展起来的一项新的多维信号分解技术。目前，许多盲分离算法都是依靠ICA的理论发展起来的。ICA处理的对象是非高斯信号，根据高阶统计分析知识及信息熵理论，以隐含变量间相互独立为提取准则，进行独立分量的提取，发现数据中隐含的信息成分，其分解结果更具物理意义。然而ICA作为一种新的统计信号分解方法，其理论体系还不完善，仍然存在部分实际问题需要解决，例如，非线性ICA，信号有时间延时的混合、卷积和的情况，带噪声的ICA，源的不稳定问题等。但近几年，许多学者都涉及了减弱这几个假设条件的ICA方法的研究，随着ICA理论的不断完善及进一步推广，ICA技术必将蓬勃发展。
东北大学秦皇岛分校毕业设计（论文） 第 19 页
第四章 基于独立分量分析的算法仿真与实现
4.1 引言
ICA独立分量分析是一种多变量分析方法，它要求输出尽可能统计独立，因此在ICA算法设计中，首先需要建立对输出变量独立性度量的目标函数，然后优化目标函数，寻找最佳的分离矩阵。到目前为止，人们已从不同的角度提出了多种ICA算法。由于没有任何参照目标，学习只能是自组织的。学习过程的第一步：建立一个以W为变元的目
?能使L?W?达到极大（小）值，该W?即为所需的解。第二标函数L?W?，如果某个W?。按照L?W?定义的不同和求W?的方法不同可以构成各种步：用一种有效的算法求WICA算法。ICA方法可归结为如下式子：ICA方法＝目标函数＋优化算法。各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。如信息最大化算法（Infomax：Information Maximization），快速定点算法（FastICA：Fixed-Point ICA），最大似然估计算法等。在本次毕业设计中，我主要研究了信息最大化算法和快速定点算法，并利用算法实现了图象分离和语音分离。 4.2 Infomax信息最大化算法
在众多的基于独立分量分析的盲源分离问题中，最具代表性的就是信息最大化算法。Infomax算法即最大化一个由非线性单元组成的网络的输入到输出间的信息传输。最早由Linsker提出，他认为生物系统对信息的处理可能遵循信息传输最大化准则，并以此导出了一类神经网络的自组织算法——Infomax算法。近年来，随着对神经网络及生物感知系统研究的不断深入，许多研究者对Infomax算法表现出越来越浓厚的兴趣，并将Infomax算法成功应用于信号的盲源分离等领域。 4.2.1 Infomax算法原理
信息最大化盲源分离原则即信息传输极大原则，所依据的基本原理就是信息论中的最大熵原理。可描述为：网络的输入端和输出端的互信息达到最大时，等价于输出端各分量间的冗余信息得到去除。1994年Nadal和Parga等人进一步说明：对于一个输出端具有非线性环节的神经网络，当经过该网络的信息传输达到最大时，输出端各分量之间
东北大学秦皇岛分校毕业设计（论文） 第 20 页
的互信息便达到最小。其算法的思路是：对每个观测向量X?t?先通过线性变换求一个中间向量Y?t??WX。然后通过非线性变换Zi?gi?Yi?求得输出向量Z?t?。根据互信息的性质可知：分量到分量的非线性映射gi?Yi?对互信息不产生任何影响，I?Z?的最小化也意味着I?Y?的最小化。于是针对Z?t?建立一个目标函数，这里我们选择Z?t?的熵作为目标函数，X和Z分别作为网络的输入和输出，因为熵是一个随机量无序性的度量，如果Z?t?的各分量统计独立性越高则相应Z?t?的熵越大，所以只需求得使目标函数达
?即求得了ICA的解。 到最大的W调整权值 使熵最大 y1 y2g(u) W11 W21 u1 W12 W22 图 4.1 Infomax算法框图
u2
u??u1,u2,???,uN?为盲源分离结果，图4.1是Infomax算法框图，用来逼近真实源S。
Tg?u?为单调可逆的非线性函数。y为非线性输出。从图4.1可以看出，Infomax算法的特点是：在输出端逐分量地引进一个合适的非线性函数g?u?，把ui转变为yi。可以证明当没有输入噪声时，I?x,y?的最大化可以通过输出熵H?y?的最大化来实现，即最大化信息传输等价于最大化输出熵。
基于信息极大判据的Infomax算法可描述为：调整分离矩阵W，使非线性输出