基于多层径向基函数网络的非参数回归模型的研究
摘要
径向基( Radial Basis Function,简称RBF)网络是一种新颖有效的前向型神经网络, 它是一组径向基函数的线性组合，具有较高的运算速度和外推能力, 同时有很强的逼近非线性函数的能力。多层径向网络是在单层径向基函数的基础上发展起来的。它用一个新的径向基函数网络去拟合前一层网络的拟合残差，于是得到了一个更精确的模型，重复这一步骤，得到一个多层径向函数网络。它大大提高了了模型的精度和泛化能力, 能够自动弥补由于网络结构和参数选择不当引起的误差. 本文通过计算机模拟实验研究用多层径向基函数网络进行非参数回归的效果，以及网络结构与参数对建模效果的影响。
关键词 ： 径向基函数；单层径向基函数网络；多层径向基函数网络；非参数
回归
Abstract
Radial Basis Function (Referred to as RBF) network is a new and effective forward neural network .Through linear combination of nonlinear core function,RBF network can realize the nonlinear conversion from input space to output space.Based on the single radial function,multi-layer network use a new radial function network to fit the fitting residual of the previous layer of network,therefore,to get a more precise model.then,a multi-mirror function network appear when the previous procedure repeated. Under the appropriate criteria,we dicide how many layers are appropriate to add. It fully ensures the model's generalization ability, to make up learning deficiencies in their own.It has vital importance in precise funtional approaching network,nonlinear modelling,especially in modelling and predicting of nonlinear time series and chaotic time series.
Keywords: Multi-layer；RBF；Network；Non-parametric Return
目录
一、 综述.............................................................................................................................. 4
（一）．径向基函数网络的基本概念......................................................................... 4 （二）．径向基函数网络在经济金融领域的应用..................................................... 5 二、多层径向基函数网络.................................................................................................... 6
（一）．径向基函数网络算法综述............................................................................. 6
1.Mood和Darken的算法 ...................................................................................... 6
2.Poggio算法 .......................................................................................................... 6 3.正则正交最小二乘法........................................................................................... 6 4.局部学习法........................................................................................................... 7 （二）．多层径向基函数网络..................................................................................... 7 （三）．用多层径向基函数网络进行实函数逼近和非参数回归............................. 9
1. 网络层数的确定................................................................................................. 9 2?2. ik的确定 .......................................................................................................... 10
3. 确定?和d ........................................................................................................ 11 4. 径向基函数个数的确定................................................................................... 11 （四）．计算机模拟实验........................................................................................... 11
1. 实验一............................................................................................................... 11
2．实验二.............................................................................................................. 17
三、总结.............................................................................................................................. 20 致谢...................................................................................................................................... 21 参考文献.............................................................................................................................. 22 附录...................................................................................................... 错误！未定义书签。
一、 综述
（一）．径向基函数网络的基本概念
1．径向基函数（Radial Basis Function）
径向基函数指的是峰状型的函数，如高斯函数
?x?x0??x??exp??2?2??2?? ??这里x,x0为n维的向量，x?x0??x1?x0?1??2???xn?x0??n??2。
2．径向基函数网络（Radial Basis Function Network）
径向基函数网络的输入输出关系可以表示为
f(x)??w??xciii?1mi,?i?
这里?ck,?k?是径向函数参数，其中ck是径向函数的中心，?k为径向函数的宽度参数。
径向基函数网络是一组径向基函数的线性组合。径向基函数网络的基本原理是：用一个径向基函数在因变量的某个局部区域上拟合函数的一部分，不同的基函数对应不同的局部区域，这样整个基函数组的加权和就形成一个总的函数，我们把它看做是对某个函数的逼近拟合。
一个典型的径向基函数网络包括三层,即输入层，隐层和输出层，如图1-1-1
所示。当输入层接收因变量的一个样本时，各个径向基函数产生相应的反应，其
输出通过加权和转变为网络的输出。
图1-1-1
构造这个网络的目的是用它去逼近一个真实的函数g?x?。通常g?x?是不知道的。我们知道的只是有限个样本和它们所对应的函数值这里如果y1,y2,?,yN是确定性的，即yi?g?xi?,i?1,2,?,N那么这就是一个函数逼近的问题。如果是不确定性的，即yi?g?xi???i,i?1,2,?,N这里的?i为随机噪声，那么这就是一个非参数回归的问题。
（二）. 径向基函数网络在经济金融领域的应用
非参数回归模型是当前计量经济学研究中的一个重要方向。现实之中经济变
量之间的关系并非就是线性关系或可线性化的非线性关系，而变量之间的参数非线性关系亦还很难确定，传统线性或非线性计量经济模型在实际运用中常存在模型的设定误差，从而不能很好地满足经济和管理应用研究的需要。
经济预测模型就是通过对已知或已记录的经济活动时序数据进行分析,挖
掘数据内蕴信息,获取数据关联知识,以探索和获得经济活动发展和变化的规律。用径向基函数网络建立经济预测模型包括两大模块,即网络学习模块和预测模块。网络学习即网络训练,即利用已知的数据对,用一定的训练算法对径向基函数网络进行训练以求得包括径向基函数的中心和基函数的宽度以及隐层到输出层的连接权值等网络参数。当网络对训练样本中所有数据的逼近程度达到设定的误差限,则网络就按训练得到的参数固化下来,然后可以用检验样本集中的数据对其进行检验,检验合符要求后,即可将之用于预测过程。一般来说,经济活动的复杂性和多变性可能使得原始数据或者过大或者隐含了噪声和冗余信息,对于这样的数据就要进行预处理,一般可采用初值化、极差化、差分化、等比变换(如同除以一个大数)等方法。通过这些变换可提高网络的分析精度和准确度,有效地缩短网络训练时间从而加快网络收敛速度。此外,输入模式也应随机提供给网络,以防训练时出现网络振荡和不可控性。
经济金融时间序列的预测是径向基函数网络的另一个重要的应用领域。曾昭才, 段虞荣, 段绍光基于径向基函数网络的混沌时间序列分析研究[14]中给出了基于径向基函数网络的混沌时间序列预测的方法。利用非线性自回归移动平均(NARMAX) 模型对非线性时间序列进行辨识并给出基于动态径向基函数(RBF) 网络的辨识算法。将这一方法应用到Henon 映射的混沌时间序列的嵌入维估计及我国股票市场的混沌现象的实证研究,得到理想的结果。文章最后指出了进一步的研究方向对经济时间序列进行混沌分析,一般的方法是从系统中分离出非趋势化部分,考察其相图和自相关函数。按这一做法,对上海和深圳两市的股价指数进行测算,得到了两市股指的吸引子维数和Liapunov 指数谱,进而对两市股指的运动