论文链接：https://arxiv.org/abs/2203.16427

项目链接：https://github.com/jiawei-ren/BalancedMSE

 

导读

标签的不平衡是现实世界中视觉回归里常见的问题，例如在年龄回归问题中，可能大部分训练样本都来自于成年人，老人与儿童的训练样本则相对较少。常用的Mean Square Error (MSE) 损失函数在少见样本上的表现往往不尽如人意，因此越来越多的研究开始重视不平衡回归，大规模评测集也在最近被提出。在本文中，来自商汤科技-南洋理工大学联合 AI 研究中心 S-Lab 与新加坡国立大学的研究者发现常用的MSE损失函数在预测少见标签时往往会产生很大的误差，因此针对不平衡回归问题提出了 Balanced MSE 损失函数。Balanced MSE 从统计的视角解决标签的不平衡，同时适用于一维与多维回归；具有简单、灵活的实现形式，不需要提前对标签分布进行计算也可以轻松接入训练中。

 

贡献

标签的不平衡是现实世界中视觉回归里常见的问题，例如在年龄回归问题中，可能大部分训练样本都来自于成年人，老人与儿童的训练样本则相对较少。较早的研究试图通过生成的方法来增加少见标签的训练样本[2]，但样本生成在面对图像等高维数据时可行性较低。最近的研究主要采用重加权来提高少见标签在训练集中的权重[1]，但重加权在不平衡分类中已被证明效果有限[3]，我们也通过实验在不平衡回归上验证了这一点。因此，不平衡回归问题还处于一个起步阶段，目前依然缺少行之有效的方法。

如上图所示，作者首先发现发现MSE将标签不平衡问题纳入预测过程中，这导致模型对罕见标签的回归表现较差，因此提出通过在进行统计转换之前利用训练标签分布来恢复平衡预测。此外，作者还为Balanced MSE提供了各种部署方式，包括在线估计训练标签分布且不需要额外的先验知识，这使得平衡MSE适用于不同的现实场景。

下图展示了Balanced MSE与已有方法在一维不平衡线性回归数据集上的性能比较。其中第一列与第三列是回归结果的可视化，其中点代表训练数据，x代表输入，y代表标签。（x，y）之间的关系由一个Oracle线性关系表征（如蓝色柱状图），因此呈现出高度的不平衡性。第二列与第四列是标签分布的展示结果。可以发现，用平衡MSE训练的回归模型表现出一致的表现，这对训练标签分布的不平衡性是鲁棒的。相反，当训练标签分布变得更加不平衡时，重加权机制的预测误差显著更大。

本文的主要贡献可以总结为一下三点：

  • 确定了MSE在不平衡回归中的缺陷所在，并提出了一个新的概念性损失函数，Balanced MSE，它利用训练标签分布使模型能够生成平衡的回归结果；
  • 设计了各种Balanced MSE的实现选项来处理不同的现实场景，包括在线估计训练标签分布且事先不需要先验知识的场景；
  • 提出了一个新的多维基准IHMR，并表明Balanced MSE在一维和多维真实基准上都取得了最先进的性能。

 

方法

作者首先重新审视了常用的MSE损失函数：

其中，作者发现模型输出ypred一般情况下均服从于一个高斯分布：

通过贝叶斯准则，不难发现训练数据与平衡数据的分布与标签自身的分布必然存在正比关系，该关系可以定义如下：

因此，发现当训练数据不平衡时，MSE会被标签分布所影响而倾向于预测常见的标签。当测试集是平衡的或衡量指标是平衡的时候，MSE的这一特点会导致模型在整体标签上的平均表现变差。

作者沿着这个思路，使用概率的方法摆脱了不平衡的标签分布对MSE的影响，并将改进后的损失函数称作Balanced MSE：

在常规MSE的基础上，Balanced MSE通过第二项对标签分布进行评估和修正。因此，常规MSE实际上可以看做Balanced MSE的特殊形式。

除此之外，作者通过理论证明，Balanced MSE同样可以用于不平衡分类问题，只要将分类中的离散标签Y表达为求和形式：

作者在文中同样对公式3.6中定义的Balanced MSE给出了不同的实施方案。

Closed-form Options：

Numerical Option：

 

实验

作者首先使用合成数据集对Balanced MSE进行了实验。下图展示了Balanced MSE在不同的标签分布下都能得到最接近真实线性关系的结果，而重加权方法的表现则随着标签分布越来越不平衡变得越来越差。

下图表明Balanced MSE在多维不平衡回归与非线性不平衡回归中依然能取得当前最好的表现。

Balanced MSE适用于多维不平衡回归

Balanced MSE适用于一维非线性回归

除此之外，作者在三个真实数据集上验证了Balanced MSE的效果，其中包括包含两个一维不平衡回归问题：年龄回归与深度回归，以及一个文中提出的多维不平衡回归问题：人体mesh估计。

Balanced MSE在不平衡年龄回归数据集上取得的表现提升

Balanced MSE均显著超过了当前的最优算法。下图显示Balanced MSE可以有效估计少见的姿态，能够帮助恢复出完整的动作幅度。

在人体mesh估计上表现对比，左边为基线，右边为Balanced MSE

内容中包含的图片若涉及版权问题，请及时与我们联系删除