Self-Supervision Improves Diffusion Models for Tabular Data Imputation

缺失数据的普遍存在引起了人们对表格数据插补方法的广泛关注和研究。扩散模型被认为是数据生成的前沿技术，在表格数据插补任务中具有巨大的潜力。然而，为了追求多样性，基础扩散模型常常对初始化噪声敏感，这妨碍了模型生成稳定和准确的插补结果。此外，表格数据固有的稀疏性对扩散模型准确建模数据流形提出了挑战，影响了这些模型在数据插补方面的鲁棒性。为了应对这些挑战，本文介绍了一种专门针对表格数据插补任务的高级扩散模型，名为自监督插补扩散模型（简称SimpDM）。为了减轻对噪声的敏感性，我们引入了自监督对齐机制，旨在规范化模型，确保一致和稳定的插补预测。此外，在SimpDM中引入了一个精心设计的状态依赖数据增强策略，增强了扩散模型在处理有限数据时的鲁棒性。广泛的实验表明，SimpDM在各种情况下与最先进的插补方法相匹配或优于其表现。

本论文旨在解决表格数据缺失的问题，特别是针对传统扩散模型在初始化噪声敏感性和表格数据稀疏性方面存在的挑战。

论文提出了一种名为SimpDM的自监督缺失扩散模型，通过自监督对齐机制和状态相关的数据增强策略来提高模型的稳定性和鲁棒性。

论文的实验结果表明，SimpDM在各种情况下能够匹配或优于现有的缺失数据填充方法。此外，论文还介绍了使用的数据集和开源代码，为后续研究提供了基础。

近期的相关研究包括：'Missing Data Imputation using Autoencoders with Relaxed Boltzmann Priors'、'Imputation of Missing Data with Generative Adversarial Networks'等。