法,假设在这个空间里划分变得更容易。为了保持计算负荷的合理性,需要设计合适的映射方法,以此来保证从变量的角度看,能够容易的计算出原空间中点的内积,通过选择合适的核函数K(x,y)的方式可以解决这个问题[28]。高维空间中的超平面定义为一组点的集合,这些点的内积向量在这个空间内是恒定的。定义超平面的向量可以选择数据库中特征向量参数的线性组合。使用这样的一个超平原特征空间中映射到超平面上的点X被定义为如下式:
?ak?Xj,X??constantii
注意:如果y离X越远,K(x,y)随之变小,则每个元素确定了测试点x与对应的数据基点Xj的接近程度。这样,上面的核函数的总和可以用来确定每个测试点与源于同一个或者另一个待分类集合的数据点的相对接近程度。
支持向量机的推广性能(估计精度)决定于变换参数和核函数参数的设置。事实上,支持向量机模型的复杂性(包括推广性)依赖于三个参数的共同作用,这增加了选择最佳参数的复杂性。选择特定的核函数类型和核函数参数通常要基于应用领域的知识,并且要反映训练数据输入值的分布情况。
支持向量机可以用于避免在高维特征空间使用线性函数的困难,而且最优化问题可以转换为对偶的凸二次规划问题,这也是支持向量机算法的一个优点。支持向量机（SVM）有如下几个特点：
1. SVM用内急核函数代替高维空间的非线性映射；非线性映射是SVM方法的理
论基础,SVM利用内积核函数代替向高维空间的非线性映射；
2. 对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM
方法的核心；
3. 支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量； 4. SVM 是一种有坚实理论基础的新颖的小样本学习方法。
5. 它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法。 7. 从本质上看,它避开了从归纳到演绎的传统过程,实现了高效的从训练样本
到预报样本的“转导推理”, 大大简化了通常的分类和回归等问题； 6. SVM 的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持
向量的数目, 而不是样本空间的维数,这在某种意义上避免了“维数灾难”； 7. 少数支持向量决定了最终结果,这不但可以帮助我们抓住关键样本、“剔除”
大量冗余样本, 而且注定了该方法不但算法简单,而且具有较好的“鲁棒”性。
与此同时这种方法也存在有两个不足：
1.SVM算法对大规模训练样本难以实施由于SVM是借助二次规划来求解支持向
量，而求解二次规划将涉及m阶矩阵的计算（m为样本的个数），当m数目很大时该矩阵的存储和计算将耗费大量的机器内存和运算时间。针对以上问题的主要改进有有J.Platt的SMO算法、T.Joachims的SVM、C.J.C.Burges等的PCGC、张学工的CSVM以及O.L.Mangasarian等的SOR算法
2.用SVM解决多分类问题存在困难经典的支持向量机算法只给出了二类分类的算法，而在数据挖掘的实际应用中，一般要解决多类的分类问题。可以通过多个二类支持向量机的组合来解决。主要有一对多组合模式、一对一组合模式和SVM决策树；再就是通过构造多个分类器的组合来解决。主要原理是克服SVM固有的缺点，结合其他算法的优势，解决多类问题的分类精度。如：与粗集理论结合，形成一种优势互补的多类问题的组合分类器。
3.1.2 支持向量机回归算法及特点
支持向量机不但可以应用于分类问题,还可以解决回归问题。VladimirVapnik, Harris Drucker, Chris Burges, Linda Kaufman 和 Alex Smolal996 年提出了用于回归分析的SVM,叫做支持向量回归[29](support vector regression,SVR),由上面描述的支持向量分类演变而来。因为到分隔边缘距离很远的训练样本点不会对用来建立模型的成本函数造成影响,所以支持向量分类模型仅依赖于训练数据集的一个子集类似地,由于成本函数忽略了任何预测模型附近的训练数据(使用阈值),支持向量回归模型也仅仅依赖训练数据集的一个子集。支持向量分类和回归问题中一个重要的观点:使用训练点的较小子集来解决问题可产生极大的计算量优势。使用显示密集损失函数,保证了全局最小值的存在,同时也确保了可靠的泛化边界的最优化。
支持向量机的推广性能(估计精度)决定于变换参数(c, ?)和核函数参数的设置。事实上,支持向量机模型的复杂性(包括推广性)依赖于三个参数的共同作用,这增加了选择最佳参数的复杂性。选择特定的核函数类型和核函数参数通常要基于应用领域的知识,并且要反映训练数据输入值(X)的分布情况。参数C决定模型复杂度和最优化方程能够容忍误差大于?的程度之间的平衡。例如:如果C无穷大,那么目标变为仅仅将经验风险最小化,不考虑优化方程中模型复杂度的部分。参数?控制延迟区域的宽度,用于适应训练数据。f的值能够影响用来构造回归函数的支持向量的个数。?值越大,选择的支持向量越少。另一方面,f值越大,得到的估计结果越平滑。因此,C和?的取值在不同的方面影响着模型的复杂度。支持向量机可以用于避免在高维特征空间使用线性函数的困难,而且最优化问题可以转换为对偶的凸二次规划问题,这也是支持向量机算法的一个优点。在回归问题中损失函数用于惩罚超过P阈值的错误。这种惩罚函数通常可以推导出
决策规则的稀疏矩阵表示,并提供有效的算法。
3.2 基于径向神经网络的预测方法
3.2.1 神经网络预测方法基础
下图表示出了作为人工神经网络（artificial neural network，以下简称 NN）的基本单元的神经元模型，它有三个基本要素：
（1）一组连接（对应于生物神经元的突触），连接强度由各连接上的权值表 示，权值为正表示激活，为负表示抑制。
（2）一个求和单元，用于求取各输入信号的加权和（线性组合）。
（3）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一 定范围内（一般限制在 ( 0,1)或 (?1 ,1)之间）。
除单元特性外，网络的拓扑结构也是 NN 的一个重要特性。从连接方式看 NN 主要有两种。 （1）前馈型网络
各神经元接受前一层的输入，并输出给下一层，没有反馈。结点分为两类，即输入单元和计算单元，每一计算单元可有任意个输入，但只有一个输出（它可耦合到任意多个其它结点作为其输入）。通常前馈网络可分为不同的层，第i层的输入只与第 i ?1层输出相连，输入和输出结点与外界相连，而其它中间层则称为隐层。
（2）反馈型网络
所有结点都是计算单元，同时也可接受输入，并向外界输出。NN 的工作过程主要分为两个阶段：第一个阶段是学习期，此时各计算单元状态不变，各连线上的权值可通过学习来修改；第二阶段是工作期，此时各连接权固定，计算单元状态变化，以达到某种稳定状态。从作用效果看，前馈网络主要是函数映射，可用于模式识别和函数逼近。反馈网络按对能量函数的极小点的利用来分类有两种：第一类是能量函数的所有极小点都起作用，这一类主要用作各种联想存储器；第二类只利用全局极小点，它主要用于求解最优化问题。多层前馈网络中，第一
层称为输入层，用以输入已知测量值。中间一层称为处理层或隐单元层，单元个数适当选取，对于它的选取方法，有一些文献进行了讨论，但通过试验来决定，或许是最好的途径。最上面一层称为输出层，用以输出与每一组输入数据相对应的分类信息。对于一个多层网络，如何求得一组恰当的权值，使网络具有特定的功能，在很长一段时间内，曾经是使研究工作者感到困难的一个问题，直到 1985 年，美国加州大学的一个研究小组提出了所谓向后传播算法（Back-Propagation），使问题有了重大进展，这一算法也是促成人工神经网络研究迅猛发展的一个原因。
3.2.2 径向神经网络特点
径向基(RBF)神经网络是一种局部逼近的神经网络。径向基神经网络具有三层结构，第一层由数个感知单元组成，将网络和外界环境连接起来。第二层是隐含层，其执行的是一种用于特征提取的非线性变换，然后作用函数对输入信号在局部产生响应；第三层为网络的输出层，而且网络的输出是线性的，基本结构如图5.2所示，与传统的BP神经网络相比，RBF神经网络隐层节点的数目可以根据需要确定，不用专门去选取，也克服了BP神经网络收敛速度慢和局部最小等缺点，所以更适用于实时监控的场合。
径向基神经网络具有很强的鲁棒性和记忆能力，而且具有较强的非线性映射能力和自学习能力，因此有很大的应用市场。其主要优点有以下几点： （1）它具有唯一最佳逼近的特性且无局部极小问题存在。
（2）具有较强的输入和输出映射功能，而且理论上可以证明，径向基神经网 络是完成映射功能的最优网络。
（3）网络的输出与连接间的权值与呈线性关系。 （4）分类能力好。
（5）网络在学习过程中，收敛速度较快。
3.3 小波分析方法
3.3.1小波相关理论基础
小波变换[32]的基本思想是以一簇函数去表示和逼近一个信号或函数，即将时间信号展开为这一簇函数的线性迭加。这一簇函数称为小波函数族（系），它是通过一个基本小波函数的不同尺度的平移和伸缩构成的。基本小波函数是一种持续时间很短的波，但并不是任意持续时间很短的波都是小波。小波具有良好的时域局部化的性质，正是由于基本小波的这个特性，使得小波变换适用于对非平稳信号的时频分析。
小波变换在时频域下的局部化特性反应出小波变换的尺度参数a和位移参数b共同的变化，不仅改变了连续小波函数的频谱结构，也改变了小波窗口大小与形状。这一特点决定了小波变换可以对频率有着自适应的特性，可以充分反映信号的局部情况。
Mallat算法是一种信号的分解方法。S为原始的输入信号，通过两个互补的滤波器产生A和D两个信号，A表示信号的近似值(approximations)，D表示信号的细节值(detail)，在许多应用中，信号的低频部分是最重要的，而高频部分起一个频率较高的部分。在小波分析中，近似值是大的缩放因子产生的系数，表示信号的低频分量。而细节值是小的缩放因子产生的系数，表示信号的高频分量。
由此可见，离散小波变换可以被表示成由低通滤波器和高通滤波器组成的一棵树。原始信号通过这样的一对滤波器进行的分解叫做一级分解。信号的分解过程可以叠代，也就是说可进行多级分解。如果对信号的高频分量不再分解，而对低频分量连续进行分解，就得到许多分辨率较低的低频分量，分解级数的多少取决于要被分析的数据和用户的需要。
3.3.2 Mallat算法
（C0理解为待分解的离散信号，根据分解算法有cj?1?Hcj、Cj1?）分解算法：若将1?Hcj其中 J 表示最大的分解层数， H 为低通滤波器， G 为高通滤波器。dj?1?Gcj；
-j
Cj,dj分别为原始信号在分辨率2下的低频信号和高频信号，是原始信号在相邻
不同频率段上的成份。最终将待分解信号c0分解为d1d2?dj和cj，该分解算法利用二抽取，使每层分解比分解前的信号数据长度减半，而总输出数据长度与输入数据c0长度保持一致。信号个数的减少对预测是不利的，但是，经 Mallat 算法分解后的信号可采用重构算法进行二插值重构。
（2）重构算法：cj?H?cj?1?G?dj?1，其中j=J-1，J-2，...,0；H,G是对偶算子采用上式对小波分解后的信号进行重构可以增加信号个数。对d1,d2....,dj和cj分别进行重构，则有X?D1?D2?...?DJ?CJ,在 Mallat 重构算法中利用二插值，