SVM 与 LS-SVM 的区别 SVM 标准算法在应用中存在着超平面参数选择，以及 QP 问题求解中矩阵规模受训练样本数目的影响很大，导致求 解规模过大的问题。 Suykens 等人提出的最小二乘支持向量机（Least Squares Support Vector Machines,LS-SVM）从机器学习损失函 数着手，在其优化问题的目标函数中使用二范数，并利用等式约束条件代替 SVM 标准算法中的不等式约束条件，使得 LS-SVM 方法的优化问题的求解变为通过 Kuhn-Tucker 条件得到的一组线性方程组的求解。 SVM 与 LS-SVM 的比较 优化问题的构造 从前述对 SVM 与 LS-SVM 方法在样本分类与回归估计的分析中可以看出，两种方法的优化问题的构造上，目标函 数分别采用了误差因子的一次项与二次项，同时约束条件分别采用了不等式约束与等式约束形式。这两方面的差别也导 致了两种方法在求解过程中的差异。 优化问题的求解 SVM 求解 QP 问题中，变量维数等于训练样本的个数，从而使其中矩阵元素的个数是训练样本个数的平方。当数据 规模达到一定程度时，SVM 算法的求解规模就会使一些传统办法难以适应。针对 SVM 的求解困难的问题，也产生了一 些相应的解决办法，如选块算法和 SMO 算法等。这些算法在一定程度上简化了 SVM 优化问题的求解，促进了 SVM 的 应用发展。而 LS-SVM 方法通过求解线性方程组实现最终的决策函数，在一定程度上降低了求解难度，提高了求解速度， 使之更能适合于求解大规模问题，更能适应于一般的实际应用。虽然并不一定能获得全局最优解，但是 仍可以获得较高精度的识别率。 解的稀疏性 SVM 标准算法中，需要求解复杂的 QP 问题，可以获得理论上的全局最优解，并且，大部分的 Lagrange 乘子均为 零，使得最终的决策函数只依赖于少部分样本数据，即支持向量。使 SVM 方法中解显示出稀疏性的特点。在 LS-SVM 方法中，由于其优化问题的目标函数使用了误差平方项以及等式约束条件，将 SVM 的 QP 问题转化为一组线性方程组 求解，使得 Lagrange 乘子与误差项成比例关系，直接的后果就使得最终决策函数与所有样本都相关，也就失去了 SVM 方法中解的稀疏性的特点。但是 LS-SVM 方法通过对最终求解得到的 Lagrange 乘子进行排序，并使用“修剪”算法，仍 然可以在一定程度上实现解的稀疏性的