Diffusion Models for Tabular Data Imputation and Synthetic Data Generation

数据插补和数据生成在许多领域有重要应用，例如医疗保健和金融，其中不完整或缺失的数据可能会妨碍准确的分析和决策。扩散模型已经成为强大的生成模型，能够捕捉各种数据模态（如图像、音频和时间序列数据）的复杂数据分布。最近，它们也已被调整以生成表格数据。在本文中，我们提出了一种针对表格数据的扩散模型，引入了三个关键增强功能：（1）条件关注机制，（2）编码器-解码器变压器作为去噪网络，以及（3）动态屏蔽。条件关注机制旨在提高模型捕捉条件和合成数据之间关系的能力。变压器层有助于模拟条件（编码器）或合成数据（解码器）内的交互作用，而动态屏蔽使我们的模型能够在统一框架内有效处理缺失数据插补和合成数据生成任务。我们通过比较扩散模型与变压器条件下的性能与最先进的技术（如变分自动编码器、生成对抗网络和扩散模型）在基准数据集上的表现来进行全面评估。我们的评估重点评估了生成样本在三个重要标准方面的性能，即：（1）机器学习效率，（2）统计相似性和（3）隐私风险缓解。对于数据插补任务，我们考虑了在不同缺失特征水平下生成样本的效率。

提出了一种针对表格数据的扩散模型，用于数据填补和数据生成任务。该模型的关键创新点有三个：条件注意机制、编码器-解码器变压器作为去噪网络以及动态掩码。论文旨在解决缺失数据对于精确分析和决策制定的影响。

该模型采用了条件注意机制和编码器-解码器变压器，有效提高了模型捕捉条件和合成数据之间关系的能力。动态掩码使得模型能够在一个统一的框架内高效地处理缺失数据填补和数据生成任务。

论文在多个基准数据集上进行了全面评估，并与自动编码器、生成对抗网络和扩散模型等最先进的技术进行了比较。评估重点关注生成样本的机器学习效率、统计相似性和隐私风险缓解等三个方面。值得注意的是，该模型在数据填补和数据生成任务上均取得了优秀的表现。

近期，针对表格数据的数据填补和数据生成任务的研究越来越多。例如，基于生成对抗网络的研究中，有《MaskGAN: Better Text Generation via Filling in the __》；基于自动编码器的研究中，有《Learning Structured Output Representation using Deep Conditional Generative Models__》等。