首页 百科知识 基于损失的支持向量机()

基于损失的支持向量机()

时间:2023-08-24 百科知识 版权反馈
【摘要】:为了提高标准SVM的稳健性,并避免训练集中的异常点成为支持向量,Ramp损失函数[93]被引入到标准SVM中代替Hinge损失函数,该损失函数通过预先设定一个s,使得Hinge损失函数在比s小时为常数。对类似问题式的这种目标函数可以写成一个凸u和一个凹v的和的情形,也就是u+v,CCCP算法是一个迭代的策略,它通过求解一系列凸的子规划

为了提高标准SVM的稳健性,并避免训练集中的异常点成为支持向量,Ramp损失函数(也称为稳健的Hinge损失函数)[93]

图2.3 Ramp损失函数
(Figure 2.3 Ramp loss function)

被引入到标准SVM中代替Hinge损失函数,该损失函数通过预先设定一个s,使得Hinge损失函数在比s小时为常数(参看图2.3 )。

从图中可以看出,Rs(z)不是凸函数,但事实上它可以分解为两个Hinge损失函数的差,即一个凸函数与一个凹函数的和(参看图2.4 ):

图2.4 Ramp损失函数可以被分解为一个凸函数(左)和一个凹函数(右)之和
(Figure 2.4 Ramp loss function can be decomposed to be a convex hinge loss and a concave loss)

这样基于Ramp损失函数的SVM(简称RSVM)的原始问题构建如下:

这个问题可以被“Concave-Convex Procedure”(CCCP)[84]策略求解。

CCCP被成功地应用到很多非凸非可微的最优化问题,特别是针对大规模的情景[94,95]。对类似问题式(2-17)的这种目标函数可以写成一个凸u(x)和一个凹v(x)的和的情形,也就是u(x)+v(x),CCCP算法是一个迭代的策略,它通过求解一系列凸的子规划

来得到原来问题的近似局部最优解。参考文献[93]提出了针对RSVM的CCCP策略。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈