Building a stable classifier with the inflated argmax

我们提出了一个新的算法稳定性框架，用于多类分类。在实践中，分类算法通常通过首先为每个可能的标签分配一个连续的分数（例如，估计的概率），然后取最大值——即选择具有最高分数的类别来操作。这种方法的缺点是它本质上是不稳定的，因为取最大值是不连续的，所以它对训练数据的轻微扰动非常敏感。受到这一挑战的启发，我们提出了一个从数据构建稳定分类器的流程，使用bagging（即重新采样和平均）来产生稳定的连续分数，然后使用一种稳定的argmax松弛方法，我们称之为“膨胀的argmax”，将这些分数转换为一组候选标签。由此产生的稳定性保证不对数据进行任何分布假设，不依赖于类别数或协变量的维数，并适用于任何基分类器。使用常见的基准数据集，我们证明了膨胀的argmax提供了必要的保护，防止不稳定的分类器，而不会损失准确性。

解决算法在多类别分类中的不稳定性问题，提出一种新的框架。

通过采用bagging方法产生稳定的连续得分，然后使用一种稳定的argmax松弛方法将这些得分转换为候选标签，从而构建稳定的分类器。

使用了bagging方法和稳定的argmax松弛方法构建稳定的分类器，并在常见的基准数据集上进行了实验，结果表明该方法可以提供必要的保护，而不会损失准确性。

近期的相关研究包括《A Survey of Multiclass Classification Methods》和《Stability of Random Forests and Bagging under Domain Shift》等。