Reassessing How to Compare and Improve the Calibration of Machine Learning Models

机器学习模型的校准是指其预测的结果概率与该结果条件下的观察频率相匹配。随着机器学习模型在各个领域的影响不断扩大，这一特性变得越来越重要。因此，现在有大量关于测量和改善（尤其是深度学习）模型校准的最新论文。在这项工作中，我们重新评估了近期文献中有关校准度量报告的情况。我们发现，存在一些微不足道的重新校准方法，这些方法看起来似乎是最先进的，除非校准和预测度量（例如测试准确度）伴随着其他泛化度量，如负对数似然。然后，我们推导出一种基于Bregman散度的校准分解，可以用于基于泛化度量来选择校准度量，并检测微不足道的校准。最后，我们将这些思想应用于开发一种新的可靠性图的扩展，可以用于同时可视化模型的校准和估计的泛化误差。

重新评估机器学习模型的校准度量标准，以及发现并解决存在的平凡重新校准方法

提出了基于Bregman距离的校准度量分解方法，用于选择校准度量和检测平凡校准方法，并开发了一种新的可视化方法来同时展示模型的校准性和估计的泛化误差

实验结果表明，存在一些平凡的重新校准方法，只有在伴随其他泛化度量（如负对数似然）时才能检测到。提出的校准度量分解方法可以用于选择校准度量和检测平凡校准方法，并开发了一种新的可视化方法来同时展示模型的校准性和估计的泛化误差

最近的相关研究包括《On Calibration of Modern Neural Networks》、《Calibration of Neural ODEs》等