东北大学秦皇岛分校毕业设计（论文） 第 21 页
yi?gi(ui)，i?1?N的联合信息熵H(y)达到最大，即使式（4.1）最大
H(y)?H(y1,?yN)?H(y1)???H(yN)?I(y1,?,yN) (4.1)
式中，H(y1)是输出的边缘熵，I(y)?I(y1,?,yN)是它们之间的互信息，其中：
1 H(yi)??py(i)logdyi??Ep(yi){ployig ( ) } (4.2)
由概率统计理论，yi与ui的概率密度之间的关系为：
p(yi)?p(ui)??yi??ui (4.3)
因此有：
H(y)??E{logp(ui)??yi??uiN}???E{logp(uN)??yN??uN}?I(y) (4.4)
H(y)???E{logi?1p(ui)??yi??ui}?I(y) (4.5)
用式（4.5）作为优化目标函数，对分离矩阵W进行调整，搜寻H(y)的极大值点。极大点所对应的分离矩阵即为最终的盲源分离矩阵，进而实现ui对未知源si的最优逼近。利用随机梯度法可导出Infomax算法的学习规则：
?p(u)?H(y)?(WT)?1?(?u)xT (4.6) ?Wp(u)由于计算中涉及矩阵求逆所以计算量较大，为此引入Amari的自然梯度法对上面所得的算法进行改进，即将式（4.6）左右都乘WTW，使学习算法变为：
?p(u)????H(y)TT??u?W?WW??I?()u?W (4.7)
?Wp(u)????由式（4.7）可以看到，改进后的算法避免了矩阵求逆运算，因而显著加快了算法的运算速度和收敛速度，提高了算法的效率。
东北大学秦皇岛分校毕业设计（论文） 第 22 页
?p(u)令： ?(u)??(Wx)???u (4.8)
p(u)则最终我们得到采用随机梯度法的最大信息算法的学习规则为：
?W?[I??(u)uT]W (4.9)
由信息理论，式(4.1)最大值出现的条件是p(yi)满足均匀分布,且yi彼此相互独立(I(y1,?,yN)?0)。因此，由式（4.3）可得，非线性函数gi(?)应选择为独立源si的累积分布函数（cdf）。实际上我们是无法确切知道源的分布特征。例如：
1． g(u)?则：
1 (4.10) 1?e?u?yi?yi(1?yi) ?ui2． yi?tanhui( ) (4.11) 则：
?yi?1?yi2 ?ui在盲源分离算法的参数自适应学习过程中，需要使用一个非线性函数。其实几乎所有的盲源分离算法采用的都是非线性优化法，即建立一个以y(t)（即源信号的估计）为自变量的目标函数，实际上它是间接地以分离矩阵W为自变量的，然后再使用某种学习算法，通过调整分离矩阵W的值逐渐使目标函数达到极值。
在前面的算法原理中我们讨论了最大熵与盲分离的关系，从中我们清楚地看到非线性函数的正确选择是盲分离成功的关键因素。因此我们不仅需要训练网络函数的权值，而且还需要选择非线性函数的形式。实际上，我们希望非线性函数最好能与输入信号的积累概率分布函数（cdf）一致，这样就可以保证当网络达到最大熵时的输出为理想的盲分离结果。
在Bell和Sejnowski的传统Infomax算法中，将非线性函数统一设置为sigmoid函数，即：Y?g(u)?法就具体化为：
1。而在本文算法中则选用yi?tanh(ui)。则式（4.9）的学习算?u1?e
东北大学秦皇岛分校毕业设计（论文） 第 23 页
?W?[I?tanh(u)uT]W (4.12)
由于该函数的微分所表示的概率分布函数是超高斯的（峭度为正），因此只能用于具有超高斯概率分布源信号的盲分离。但实际上混合信号中往往既含有超高斯信号又含有亚高斯分布（峭度为负）的信号，因此出现了一种新的Infomax算法，即扩展Infomax算法。
扩展Infomax算法是对采用固定非线性函数的传统Infomax算法的改进，在盲分离过程，扩展Infomax算法能根据ICA输出的峭度变化，自动切换非线性函数，以实现亚高斯和超高斯信号的同步分离。对亚高斯或超高斯源的学习算法，可以利用基于概率密度的Edgeworth展开或Gram-Charlier展开的熵估计截断在四阶累积量来得到。Girolami提出了一个带参数的密度估计可用来得到同样的学习算法，而不要做任何近似。Girolami用如下的一个对称的Pearson混合模型得到了一个严格对称的亚高斯密度函数：
p(u)?1(N(?,?2)?N(??,?2)) (4.13) 2式中,N(?,?2)是正态分布，均值为?，方差为?2。 定义, ???代入（4.13）式中, ?(u)为 ?2?p(u)uexp(?u)?exp(??u)?(u)???u?2??() (4.14)
p(u)?exp(?u)?exp(??u)使用双曲线正切的定义：
?(u)?取??1,?2?1，则上式化简为
u?2?u?2tanh(u?2u) (4.15)
?(u)?u?tanh(u) (4.16)
结合式（4.9）和式（4.16），则对严格的亚高斯源，学习算法现在为：
?W?[I?tanh(u)uT?uuT]W (4.17)
对单峰的超高斯，其概率密度函数分布可以近似为如下的密度模型：
p(u)?pG(u)sech2(u) (4.18)
式中，pG(u)?N(0,1)是一均值为0，方差为1的高斯分布。
东北大学秦皇岛分校毕业设计（论文） 第 24 页
根据式（4.18）定义的近似概率秘书函数，可以得到下面的非线性函数?(u)：
?p(u)?(u)???u?u?tanh(u) (4.19)
p(u)故由式（4.9）和（4.19），就得到对超高斯信号的学习算法：
?W?[I?tanh(u)uT?uuT]W (4.20)
在式（4.20）中超高斯的学习算法和在式（4.16）中亚高斯的学习算法的不同点是tanh函数前的符号。因此，扩展Infomax学习算法为：
?W?[I?kitanh(u)uT?uuT]W {ki???????????????对亚高斯信号????? (4.21)
ik??????????????对超高斯信号式中ki是N维对角阵K的元素，用来区别超高斯和亚高斯信号，ki可以通过估计信号的峭度（kurtosis）得到，也可以从分离方案的一般稳定性分析中得到：
ki?sign(E{sech2(ui)}E{ui2}?E{[tanh(ui)]ui}) (4.22)
从上述推导过程可以看出，该算法中对亚高斯和超高斯源信号分别使用了两个不同的概率密度函数来近似其分布。式（4.21）和式（4.22）一起构成了Infomax的改进算法，该改进算法可用来分离亚高斯和超高斯的杂系混合信号。
总结上述算法原理，我们可以得出利用Infomax算法对信号进行盲源分离的具体步骤。Infomax算法的步骤图如表4.1：
表4.1 Infomax算法步骤 1．给出初始值W=W0（随机的），观测向量X； 2．对X进行去均值、白化处理； 3．计算u,?,??u?；其中u=WX，?迭代精度（自己设定），??u?称为评价函数； 4．计算?W???I???u?uT?W； 5．计算W?W??W； 6．重复3，4，5步直到收敛，得到W后，通过Y=WTX得到源信号的拷贝。
东北大学秦皇岛分校毕业设计（论文） 第 25 页
4.2.2 Infomax算法仿真
上一节从信息最大化准则的角度出发，推导出盲源分离算法——Infomax信息最大化算法，是基于信号源的先验分布式具有垂尾并且波峰集中在均值附近的超高斯分析这个假设条件的，所以它只能用来分离超高斯的混合信号，对于亚高斯的混合信号以及超高斯和亚高斯的杂系混合信号无法达到良好的分离效果。
由4.2.1的算法原理得出的算法步骤，我们可以得到如图4.2的Infomax算法流程图：
输入信号X 对X进行去均值处理：E(xi)?0 对X进行白化处理：E(ZZ)?0 T初始化W,? u=WX ??u??tanh(u) ?W???I???u?uT?W W?W??W ?W<迭代步长 是 输出Y=WTX 否
图4.2 Infomax算法流程图