AdapTable: Test-Time Adaptation for Tabular Data via Shift-Aware Uncertainty Calibrator and Label Distribution Handler

在实际应用中，由于其普遍性和丰富性，表格数据经常遭受分布偏移的影响，导致预训练的机器学习模型出现错误的预测。然而，由于具有不同属性和数据集大小以及深度学习模型对表格数据的有限表示学习能力等独特挑战，解决表格领域中的这种分布偏移问题相对较少研究。特别是，随着最近测试时间适应（TTA）这一有前途的范例的出现，我们在推理阶段适应未标记的目标域，而不访问源域，我们发现直接采用其他领域常用的TTA方法通常会导致模型崩溃。我们系统地探索了表格数据测试时间适应中的挑战，包括偏斜熵、复杂的潜在空间决策边界、置信度校准问题，包括过度自信和低自信，以及源标签分布偏差和类别不平衡的模型偏向。基于这些见解，我们介绍了AdapTable，一种新颖的表格测试时间适应方法，通过估计目标标签分布并根据校准的不确定性调整初始概率，直接修改输出概率。对自然分布偏移和人工合成损坏的广泛实验证明了所提出方法的适应性。

本篇论文探讨如何在表格数据中进行测试时适应（TTA）并解决分布偏移问题，其中包括表格数据的独特挑战，如不同的属性和数据集大小以及深度学习模型对表格数据的有限表示学习能力。

本文提出了一种名为AdapTable的新的表格测试时适应方法，通过估计目标标签分布并基于校准的不确定性调整初始概率，直接修改输出概率，从而解决测试时适应的问题。

论文在自然分布偏移和人为数据损坏方面进行了广泛的实验，证明了AdapTable方法的适应性。论文还提出了在表格数据测试时适应中的一些挑战，包括偏斜的熵、复杂的潜在空间决策边界、置信度校准问题以及源标签分布和类别不平衡导致的模型偏差。

与此相关的最近研究包括：Deep Domain Generalization via Conditional Invariant Adversarial Networks，Deep Adversarial Residual Domain Adaptation等。