SVM作为建立在统计学习理论（Statistical Learning Theory，SLT）基础之上的机器学习方法［1，2，4］，是借助于最优化方法解决机器学习问题的有力工具，其较好地解决了其他机器学习方法常出现过的学习问题、局部最小问题和维数灾难等问题，已经被成功地应用到数据挖掘的不同领域。与数据挖掘中的其他一些方法相比，支持向量机具有着明显的优点：（1）具有坚实的理论基础。包括统计学习理论、最优化理论与核理论。其根据统计学习理论，把数据挖掘中的问题转化为最优化问题（例如线性规划问题或非线性规划问题），然后寻求高效的算法求解相应的最优化问题。（2）实际应用效果好，使用方便，模型参数较少，实际工作者易于掌握，可得到广泛的应用。近年来关于支持向量机的研究深入而广泛，出现了许多新的理论、算法和应用领域［15，62，86－88］。
最初的支持向量机是解决两类分类问题的，它将输入映射到某一个高维的Hilbert空间中，通过在这个空间最大化两个平行的支持超平面的间隔，从而把分类问题转化为一个凸二次规划问题来解决。考虑两类分类问题，给定训练集为
式中，xi∈Rn，yi∈y＝｛1，－1｝，i＝1，…，l，标准的SVM依据期望风险最小化原则来构造原始最优化问题［1，10，89，90］，期望风险由置信区间和经验风险两部分组成，而经验风险部分利用的损失函数则是经典的Hinge损失函数（参看图2.1 ）
图2.1 Hinge损失函数
（Figure 2.1 Hinge loss function）
式中，下标s为Hinge点的位置，其用来惩罚那些没有足够大的间隔的样本，标准SVM的原始最优化问题为
式中，f（x）＝（w·Φ（x））＋b是决策函数，Φ（·）是核函数K（x，x′）＝（Φ（x）·Φ（x′））［10，89］对应的映射。上述原始问题式（2－3）的对偶问题为
通过求解对偶问题的解，可以得到原始问题的解和决策超平面，据此构建标准支持向量机算法。
由于应用了Hinge损失函数，标准的SVM对异常点较为敏感，因为这些点通常具有较大的Hinge损失，决策超平面就会被拉向这些异常点，这样SVM的推广能力就会被削弱［92］。Hinge损失函数的另外一个性质就是支持向量的个数与训练集的大小呈线性关系，所以标准SVM的训练及预测时间会随着支持向量个数的增加而快速增加，导致其难以处理大规模问题。
（标准支持向量机（SWM））
（1）给定训练集T＝｛（x1，y1），…，（xl，yl）｝∈（Rn×y）l，其中xi∈Rn，yi∈y＝｛1，－1｝，i＝1，…，l；
（2）选取适当的核函数K（·，·）以及惩罚参数C＞0；
（5）构造决策函数
其中
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
