Superior Scoring Rules for Probabilistic Evaluation of Single-Label Multi-Class Classification Tasks

本研究引入了两种新的高级评分规则，称为惩罚Brier得分（PBS）和惩罚对数损失（PLL），以改进概率分类模型的评估。传统的评分规则如Brier得分和对数损失有时会将错误分类与正确分类相比赋予更高的分数。这种与奖励正确分类的实际偏好的差异可能会导致次优的模型选择。通过将惩罚引入错误分类，PBS和PLL修改了传统的正确评分规则，以始终将更高的分数分配给正确的预测。正式证明表明，PBS和PLL满足严格的正确评分规则属性，同时也优先奖励准确的分类。实验展示了使用PBS和PLL进行模型选择，模型检查点和早停的好处。在训练过程中，与Brier得分相比，PBS表现出更高的与F1得分的负相关性。因此，PBS更有效地识别最佳检查点和早停点，从而提高F1得分。比较分析验证了PBS和PLL选择的模型实现了更高的F1得分。因此，PBS和PLL通过封装正确评分原则和对真实分类的明确偏好来解决不确定性量化和准确性最大化之间的差距。所提出的指标可以增强可靠的概率分类模型的评估和选择。

本文旨在提出一种新的评分规则，即惩罚性Brier得分（PBS）和惩罚性对数损失（PLL），以改善概率分类模型的评估。传统评分规则可能会将错误分类分配更好的分数，导致模型选择不够优化。本文旨在解决这个问题。

PBS和PLL通过对错误分类进行惩罚，修改传统的评分规则，从而始终将更好的分数分配给正确的预测。PBS和PLL满足严格的适当评分规则属性，同时也更倾向于奖励准确的分类。

本文的实验展示了使用PBS和PLL进行模型选择、模型检查点和早期停止的好处。PBS在训练期间与F1分数的负相关性更高，从而更有效地识别最佳检查点和早期停止点，从而提高F1分数。比较分析验证了PBS和PLL选择的模型实现了更高的F1分数。因此，PBS和PLL通过封装适当的评分原则和对真实分类的明确偏好来弥补不确定性量化和准确性最大化之间的差距。

最近的相关研究包括：1. 'A comparison of scoring rules for probability forecasts' 2. 'Proper Scoring Rules, Prediction, and Estimation' 3. 'A tutorial on scoring rules for probabilistic forecasting in meteorology'等。