第2章支持向量机回归原理 核函数k(xi,yi)对应映射到特征空间的数据的内积，即：
k(xi,yi)??(xi)??(xj)
核函数k(xi,yi)可以是任意满足Mercer条件的对称函数，因此，估计函数也可以具有如下形式：
f(x)??(ai??ai)K(xi,xj)?b
i?1N因此支持向量的拓扑结构如下图2-3所示：
x1K(x1,x)x2?xkK(x2,x)Σy?K(xk,x)图2-3支持向量回归拓扑图
对于??SVR，试图求解如下有约束的二次规划问题：
N12min??C?(?i??i?)
2i?1?fi?yi????i?s.t.?yi?fi????i?,1?i?N ??,??0?ii这里C是待确定的常数，?i,?i?是松弛变量，同时首先要先设定?的值。
2.4.3 关于算法的几点说明
1. 算法的收敛性说明
根据Osuna的理论，在实现算法中每一步迭代都将减少目标函数的值，进而保证了算法的收敛性。并且在算法中利用了许多策略和一些启发式规则来进行联合优化，进一步充分保证了算法的收敛速度。 2. 算法元素扫描启发式规则
对于??非敏感损失函数，KKT条件为：
11
第2章支持向量机回归原理 ai(?i??i?yi?(?,xi)?b)?0
ai?(?i???i??yi?(?,xi)?b)?0
和
(C?ai)?i?0(C?ai?)?i??0
由此进一步推出关于取值的三种情形：
I:ai??C 数据位于误差带外 II:ai??(0,c) 数据位于误差带上 III:ai??0 数据位于误差带内 3. 算法中的关于KKT条件的判断便是依据上面三式
外循环首先在整个数据集合上扫描违反KKT条件的元素，当在整个数据集合上扫描一遍之后，外循环开始在非边界元素(Lagrange乘子不为0和C)集合上扫描违反KKT条件的元素，直至所有非边界元素都以?的精度满足KKT条件。然后外循环重新在整个数据集合上扫描。外循环如此交替在整个数据集合上进行一次扫描和在非边界元素集合上进行多遍扫描，直至算法终止。 4. 算法的效率
在算法运行过程中，CPU的时间集中在最有可能违反KKT条件的元素集合，边界元素可能停留在边界，而非边界元素将会在其它元素被优化的同时向边界移动。若算法在非边界元素集合上迭代直至此集合自相容，然后再在整个集合上扫描寻找在非边界元素优化的同时变为违反KKT条件的边界元素。这样可保证算法的效率。
12
第3章 基于Matlab实现SVR的总体设计 第3章 基于Matlab实现SVR的总体设计
3.1 总体设计思想
支持向量回归的最终就是寻求一目标函数，并使得其损失函数的数学期望最小，这样才能得到最准确的回归曲线以反映训练集的数据走向趋势。该回归算法主要解决非线形回归预测问题，对训练集采用线性、非线性核函数进行回归。通过对各种参数的设置得到不同性能的回归曲线，以便于熟悉其中参数对回归算法的影响。
3.2 功能模块的划分及相关流程图 3.2.1 主要功能模块的划分
从总体上说，按照需求分析，可以把要实现的功能划分为三个主要的功能模块： 1．GUI图形用户界面模块，即系统的主界面。 2．实验简介模块，简单说明各个函数的功能。
3．支持向量回归模型设计的实验模块，实现支持向量回归的各种功能(手动创建数据集、装载现有的数据集、设置各种相应的参数、保存数据集、进行回归演示)。
3.2.2 实现程序的主要框架图
下图3-1中说明了程序设计的总体框图，并没有把所有的函数列出来，只是列出了主要的程序。
SVR.m：实现用户图形界面模块(主界面)。 about.m：查看系统的各实现功能的简单说明。 uiregress.m：实现了支持向量回归的演示实验模块。 svr.m：支持向量回归的计算。 svrplot.m：一维空间回归作图问题。 svroutput.m：输出与输入之间的转化计算 。 svrerror.m：输入，输出异常 。 svkernel.m：内核函数。
13
第3章 基于Matlab实现SVR的总体设计 svdatanorm.m svkernel.m svr.mabout.m svrerror.mSVR.muiregress.m svroutput.msvrplot.msvrtol.mContents.mBinomial.mNobias.m图 3-1 程序框图
3.2.3 支持向量回归模型的流程图
支持向量回归模型的总流程图如图3-2所示。
14
第3章 基于Matlab实现SVR的总体设计 开 始用户主界面实验简介 选 择支持向量回归模型实验选择核函数及相应参数的设置自动选 择手动装载数据创建数据对训练集回归退 出图3-2 支持向量回归模型总的流程图
15