第2章支持向量机回归原理 乘法。这种分析方法称为综合分析，其主要目的是将数据聚集在一起，并综合出数据的一个拟合模型。接着同样重要的一个阶段是案例分析。这里数据被用于检验拟合模型对被研究的关系是否合适、有用。其结果可能导致对原先指定的拟合模型的修改，此后，回复至综合分析。在具体实施中，则大量的借助统计学的理论和技术。如参数估计与假设检验等一些知识。而本设计主要讨论的回归方法则侧重于Vapnik的统计学习理论，从问题的模型确立到问题解决途径上可能和经典的回归不大一样，但本质是一致的。回归问题可形式化为：
给定一个训练集合，其元素有某个未知的分布P(x,y)观测得到(此处的观测可能夹杂某种噪声):
X???x1,y1?,?x2,y2???xi,yi??with xi?Rn,yi?R
和一个函数族F?f|f:Rn?R 基本回归问题是要找到一个函数f?F，此函数风险最小化表达式：R[f]??c(y?f(x),x)dp(x,y) 其中，C是损失函数，它指出y和f(x)之间的差错将如何被惩罚，因为P(x,y)未知，不能直接对R[f]进行估值，而是要通过计算如下的经验风险：Remp1l其中Rgen??c(y?f(x),x) 并通过Remp?Rgen对R进行限界。
li?1??为所谓的泛化错误上界，根据Vapnik的理论，它依赖于用来进行回归的函数族F。
2.2.2 线性支持向量回归
支持向量回归建立在统计学学习理论的基础之上，并维持以上提出的学习机的模型但采取完全不同的策略。在这里F取为n维超平面：
F?f|f(x)?(?,x)?b,??Rn
损失函数一般有多种形式，根据实际问题的不同可选用不同的损失函数。此处给一般情形：含有?误差带的损失函数，这样的函数满足以下形式：
?0fory?f(x)??c(x,y,f(x))??
c(y?f(x)??)otherwise???并且对非0时的损失函数要求具备凸性。
学习的结果使得在的周围形成一个精度为的误差带。其线性支持向量回归机的结果是线形的。
6
第2章支持向量机回归原理 2.2.3 非线性支持向量回归
对于非线性回归，保持以上的策略不变，但首先对输入数据进行非线性预处理。使用非线性映射?把数据从原空间Rn映射到一个高维特征空间?，再在高维特征空间?进行线性回归。同理，在非线性空间中也只考虑高维特征空间?的点积运算：而不必明确知道?(x)是什么。其关键问题是核函数k(x,y)的?(x)??(x)??(y)?k(x,y)，
采用。此时，非线性支持向量机回归具有以下模型：
F取为：F?f|f(x)?(?,?(x))?b,??Rn
??损失函数和能力控制策略同线性支持向量回归，其求解结果具有如下形式:
???(a?a)?(xi) 因此，f(x)??(ai?ai?)k(xi,x)?b
?i?1i?1ll支持向量机回归通过将最小化经验风险和能力控制规约在一个目标中，一并将其转化为一个凸二次优化问题的求解途径不仅实现了结构风险最小化的原则，而且由于严格的凸性要求使问题求解在可行域中总能搜索到最优解，而不会陷入局部最小。在非线性情形，使用核函数技巧，通过只计算输入空间的数量积避免了维数灾难问题。从求解结果我们可以看出，最终的解，决定于输入模式的数量积，而与输入模式的维数无关，其计算规模正比于输入模式中支持向量的个数。因而可有效地处理高维空间的问题，而不受到维数的限制。
2.3支持向量回归核函数
支持向量机的一个引人注目的特点是用核函数代替向量间的内积运算来实现非线性变换，而不需要非线性的具体形式。研究人员根据这一思想改造经典的线性算法并构造出对应的基于核函数的非线性形式。支持向量回归模型最重要的一个参数就是核函数。选择什么样的核函数，就意味着将训练样本映射到什么样的空间去进行线性划分。
支持向量机回归算法的技巧在于不直接计算复杂的非线性变换,而是计算非线性变换的点积，即核函数，从而大大简化了计算。通过把核函数引入到一些学习算法，可以方便地把线性算法转换为非线性算法，我们将其与支持向量机一起称为基于核函数的方法。
在高维特征空间实际上只需要进行点积运算，可以用原空间中的函数实现的，甚至没有必要知道变换的形式。根据泛函的有关理论，只要一种核函数K(x,xi)满足Mercer条件，它就对应某一变换空间中的点积。因此，在最优分类面中采用适当的点积函数
K(x,xi)就可以实现某一非线性变换后的线性分类，而计算复杂度却没有增加。张铃证明了核函数存在性定理，并提出了寻找核函数的算法。核函数存在性定理表明：给定一
7
第2章支持向量机回归原理 个训练样本集，就一定存在一个相应的函数，训练样本通过该函数映射到高维特征空间的相是线性可分的。
进一步研究了支持矢量机的支持向量集与核函数的关系，研究表明对非线性可分情况，对一个特定的核函数，给定的样本集中的任意一个样本都可能成为一个支持向量。这意味这在一个支持向量机下观察到的特征在其它支持向量机下（其它核函数）并不能保持。因此，对解决具体问题来说，选择合适的核函数使很重要的。
SVM 由训练样本集和核函数完全描述，因此采用不同的核函数就可以构造实现输入空间中不同类型的非线性决策面的学习机，导致不同的支持向量算法。本课题研究的几种核函数如下：
线性内核 K(xi,xj)?xi?xj 多项式内核 K(xi,xj)?[(xi,xj)?1]q
?x?xj?ip?径向基函数内核 K(xi,xj)?ex??2??2??? ??Bsplines内核 K(xi,xj)?B2n?1(xi?xj)
2.4 支持向量回归算法
2.4.1 支持向量回归的算法的基础
1. 寻求方向
约束最优化的一种方法是在可行空间按一定的方向逐步搜索，逼真最优点，这就涉及到寻求最优方向的问题。对给定问题f(x):Rn?R的可行域S中点x，对于某个非零n维向量d存在??0，当a?(0,?)时使得：
x?ad?SdT?f(x)?0
的方向被称为x处的寻优方向，而对于正定的归整约束，理论上可保证在一定的迭代次数后收敛。 2. 对偶差
另一种约束最优化的方法是从对偶理论入手，利用对偶差和KKT条件来寻找最优点。对于可行的主变量和对偶变量，凸最小化问题的主目标函数的解常常比(凸最大化的)对偶目标函数的解要大。当且仅当在最优化解处这两个解才相等。因此对偶差常被作为衡量目标函数变量的当前解和最优解距离的一种度量，此理论来自Lagrange函数
8
第2章支持向量机回归原理 的鞍点特性。以此为基础的算法则通过逐步加强KKT条件，并通过对偶差来进行评估，来逼真最优点。 3. 不敏感损失函数
支持向量机方法是从解决模式识别问题发展起来的，在支持向量分类机中，一般来说，可以用少量的支持向量来表示决策函数，即具有稀疏性。当把该方法推广到回归问题时，很重要的一点就是希望找到合适的支持向量回归(SVR)算法，仍然保持这个性质。 从上述回归问题的数学提法可以看出，为建立算法，需要选择适当的损失函数。现介绍回归估计中最常见的一种损失函数，它可以保持稀疏性。??不敏感损失函数
c(x,y,f(x))?y?f(x)?
其中 y?f(x)??max0,{|y?f(x)|??}，这里?是事先取定的一个正数，??不敏感损失函数的含义是，当x点的观测值y与预测值f(x)之差不超过给定的?时，则认为在该点的预测值f(x)是无损失的，尽管预测值f(x)和观测值y可能并不完全相等，如下面损失函数图像2-1所示。
图2-1损失函数图象
如果f(x)为单变量线性函数
f(x)????x??b,
当样本点位于两条虚线之间的带子里时，则认为在该点没有损失，我们称两条虚线构成的带子为??带。只有当样本点位于??带之外时，才有损失出现，例如，下图2-2中(x,y)处的损失为
??y?f(x)??
9
第2章支持向量机回归原理
图2-2不敏感损失带
容易看出，??不敏感损失函数有一个特点：对样本点来说，存在着一个不为目标函数提供任何损失值的区域，即??带。这个特点是其他许多损失函数并不具备的。我们可以期望，在??带内的样本点，不会出现在决策函数中。
2.4.2 ??SVR回归算法
利用核函数将输入数据映射到高维特征空间F ( 通常是无限维)，在特征空间实现线性回归，估计函数具有如下形式：
f(x)????(x)?b
这里?:Rd?F，映射到特征空间，?表示特征空间中的内积，??F且b?R 为从训练数据集D估计函数f，典型的支持向量回归最小化正则化风险泛函：
Rreg[f]?Remp[f]??2?
21N? ??c(f(xi),yi)??
Ni?12这里正则化参数?为正数，损失函数c选择为??不敏感损失函数，形式如下：
?0,for|u|?? cs(u)??|u|??,else?可以通过解二次规划的优化问题来最小化正则化风险泛函。解?可以表达为在特征空间
F与函数?(x)的线性组合有关的形式：
???(ai??ai)?(xi)
i?1N这里系数ai?,ai?R通过解二次规划问题确定，对于ai??ai?0的点(xi,yi)称为支持向量。
10