A Safe Screening Rule with Bi-level Optimization of $ν$ Support Vector Machine

支持向量机（SVM）在机器学习中取得了许多成功，尤其是在小样本问题上。作为传统SVM的著名扩展，$\nu$支持向量机（$\nu$-SVM）由于其出色的模型可解释性而表现出色。然而，对于大规模问题，它仍然面临着训练开销的挑战。为了解决这个问题，我们提出了一个安全的双层优化筛选规则$\nu$-SVM（SRBO-$\nu$-SVM），可以在训练之前筛选出非活动样本，降低计算成本，而不会牺牲预测准确性。我们的SRBO-$\nu$-SVM是通过集成Karush-Kuhn-Tucker（KKT）条件，凸问题的变分不等式和$\nu$-property严格推导而来。此外，我们开发了一种高效的双重坐标下降法（DCDM）来进一步提高计算速度。最后，我们提出了一个统一的SRBO框架来加速许多SVM类型模型，并成功应用于单类SVM。在6个人工数据集和30个基准数据集上的实验结果验证了我们提出的方法在监督和无监督任务中的有效性和安全性。

提高 $ u$-SVM 模型的训练效率，特别是针对大规模问题

提出了一种安全筛选规则和双层优化的方法，可以在不影响预测准确率的情况下，减少训练中的计算开销

提出的方法是严格推导的，基于KKT条件、凸问题的变分不等式和$ u$-SVM的性质；使用了高效的双坐标下降法（DCDM）进一步提高计算速度；提出了一个统一的框架（SRBO），可以加速许多SVM类型的模型；在6个人工数据集和30个基准数据集上进行了实验，证明了方法的有效性和安全性

最近的相关研究包括：基于GPU加速的SVM方法、使用启发式方法加速SVM的训练、使用深度学习方法替代SVM