Geometry-Calibrated DRO: Combating Over-Pessimism with Free Energy Implications

机器学习算法通过最小化平均风险来进行训练，但容易受到分布偏移的影响。分布鲁棒优化（DRO）通过在不确定性集合内优化最坏情况风险来解决这个问题。然而，DRO 存在过度悲观的问题，导致预测置信度低、参数估计差以及泛化性能差。在本文中，我们对过度悲观的一个可能根本原因进行了理论分析：过度关注噪声样本。为了减轻噪声的影响，我们将数据几何形状纳入到 DRO 的校准项中，提出了一种新的用于回归的几何校准 DRO（GCDRO）。我们建立了我们的风险目标与统计物理学中的 Helmholtz 自由能之间的联系，这种基于自由能的风险可以扩展到标准的 DRO 方法。利用 Wasserstein 空间中的梯度流，我们开发了一种具有有界误差比的近似极小极大优化算法，并阐述了我们的方法如何缓解噪声样本的影响。全面的实验验证了 GCDRO 相对于传统 DRO 方法的优越性。

论文旨在解决分布偏移问题对机器学习算法造成的影响，提出一种减少噪声影响的新型优化方法，即Geometry-Calibrated DRO (GCDRO)。

该论文的关键思路是将数据几何形状纳入到DRO中的校准项中，从而减少噪声对模型的影响。

论文通过理论分析发现DRO过于关注噪声样本，从而导致过度悲观的结果。为此，提出了GCDRO方法，并通过实验验证其在回归问题上的有效性。该论文还将其风险目标与统计物理中的Helmholtz自由能联系起来，并使用Wasserstein空间中的梯度流来开发近似的极小极大优化算法。

相关论文：1）Distributionally Robust Optimization and its Tractable Approximations，作者：Y. T. Chen, Y. S. Su, 和 M. Wainwright；2）Wasserstein Distributionally Robust Optimization with Linear Constraints，作者：S. Liu, J. Li, 和 L. Wang。