【摘要】:LSSVM最小化‖w‖2意味着最大化红蓝两条平行线之间的间隔,最小化意味着使得红色的线尽可能离正类点近,蓝色的线尽可能离负类点近。式中,Y=(y1,…据此构造最小二乘支持向量机算法。给定训练集T={,…,∈l,其中xi∈Rn,yi∈y={1,-1},i=1,…,l;几乎所有的点都具有非零的值,即几乎所有的点都对决策函数起作用,因此LSSVM丧失了标准SVM的稀疏性。
与标准的SVM不同,最小二乘支持向量机(Least Squares SVM,LSSVM)用二次损失函数代替了Hinge损失函数,构造了原始最优化问题
式中,f(x)=(w·Φ(x))+b是决策函数,Φ(·)是核函数K(x,x′)=(Φ(x)·Φ(x′))对应的映射,Q(z)二次损失函数
图2.2 LSSVM的几何解释
(Figure 2.2 Geometric interpretation of LSSVM)
问题(2-8)的对偶问题为
其中
该对偶问题的解可以通过求解下述的线性方程组得到
式中,Y=(y1,…,yl)T,Ω=(Ωij)l×l=(yiyjK(xi,xj))l×l,I是单位矩阵,e=(1,…,1)T∈Rl。据此构造最小二乘支持向量机算法。
最小二乘支持向量机(LSSVM)
(1)给定训练集T={(x1,y1),…,(xl,yl)∈(Rn×y)l,其中xi∈Rn,yi∈y={1,-1},i=1,…,l;
(2)选取适当的核函数K(·,·)以及惩罚参数C>0;
(4)构造决策函数
尽管LSSVM可以通过快速求解线性方程组来处理较大规模的分类问题,但由于其应用了二次损失函数,使得
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。