1.2.2 支持向量机回归问题

虽然支持向量机是由分类问题提出来的，但也可以应用到连续函数的拟合等许多回归问题中。

回归问题：已知训练样本集

式中，x（n）∈RN，y（n）∈R为输出，n=1,2,…,N，这里y（n）为任意实数。

问题：根据训练样本集T来寻找RN上的一个实值函数f（x），并用f（x）来推断对于任意的输入x，其所对应的输出y。x与y的关系如图1.2.4所示。

上述为N维空间RN上的回归问题。当N=1时简化为一维空间上的回归问题，有着明显的几何意义。在图1.2.4中，直角坐标系中的“”为各个训练样本点，曲线为一条接近各个训练点“”且光滑的曲线。

作为特殊的一类回归问题，线性回归问题有着重要的作用。本节中要寻找的线性函数为

构造式（1.2.14）的凸二次规划问题，将最优问题转换为

求解式（1.2.15）最优解的方法是将其转换为对应的对偶问题。为此，引入拉格朗日函数

式中，α∗=（α（1），α∗（1），α（2），α∗（2），…，α（n），α∗（n））T≥0为拉格朗日乘子。

由最优化原理可知，需求拉格朗日函数对w和b的极小值，即分别对w和b求微分且令其等于零，即

得到

将式（1.2.18）代入式（1.2.15），得对应的对偶问题为

上述问题求解得到的最优回归函数为

为了获得更好的回归效果，引进松弛变量ξ以及惩罚因子C，则支持向量机的二次规划问题变为

引入拉格朗日函数，得

式中，拉格朗日乘子满足条件α（∗）（n），μ（∗）（n）≥0。经过计算化简

则其最优化回归问题对应的对偶问题为

式（1.2.24）与式（1.2.21）的区别是拉格朗日乘子α∗（n）的约束范围不同。