为验证ADMM的性能，首先我们在小规模数据集上进行SVM，NPSVM，RNPSVM的比较。数据集来自UCI公开数据，所有算法均采用5折交叉验证选取最优参数。SVM中的参数C，NPSVM和RNPSVM中的Ci（i＝1，2，3，4）均从集合｛2－8，…，28｝中选取，但为简便期间，这里令C1＝C2＝C3＝C4。参数ε＝0.2，t和s分别从集合｛0.4，0.6，0.8，1.0｝和｛－1.0，－0.8，－0.6，－0.4，－0.2，0｝中选取。实验的准确率和支持向量的比率在表6.1 中给出，最好的结果用粗体表示。可以看出在RNPSVM在10个数据集合上有8个达到了最小的分类错误率。另外，这里计算的NPSVM和RNPSVM的支持向量的比率是把两个最优化问题对应的支持向量取并集得到的，所以在5个数据集上比标准的SVM支持向量要多。
表6.1 算法在小规模数据集上的比较
（table 6.1 Comparison results on small scale datasets）
为进一步理解ADMM的收敛性能，图6.1 中分别给出目标函数值，原始残差r和对偶残差s的值随着迭代次数的变化，这里只展示了两个数据集（Votes和German）的结果。以Votes为例，横坐标为ADMM的迭代次数，纵坐标分别为目标函数值，原始残差r和对偶残差s的值。图6.1 （a）为ADMM求解SVM的表现，可以看出，随着迭代次数的增多，三个值（图中的黑实线所示）均趋于稳定并低于事先设定的阈值线（黑虚线）；图6.1 （b）为ADMM求解NPSVM的表现，可以看出，随着迭代次数的增多，三个值（图中的红蓝实线所示）均趋于稳定并低于事先设定的阈值线（红蓝虚线），红线表示ADMM求解第一个优化问题，蓝线表示ADMM求解第二个优化问题；图6.1 （c）为ADMM求解RNPSVM的表现，可以看出，随着迭代次数的增多，三个值（图中的红蓝实线所示）均趋于稳定并接近事先设定的阈值线（红蓝虚线），红线表示ADMM求解第一个优化问题的表现，蓝线表示ADMM求解第二个优化问题表现。
图6.1 ADMM在小规模数据集上的收敛性
（Figure 6.1 Convergence of the ADMM on the small scale datasets）
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
