HOIDiffusion: Generating Realistic 3D Hand-Object Interaction Data

本文提出了HOIDiffusion，用于生成逼真且多样化的三维手物交互数据。由于数据收集过程的硬件限制，三维手物交互数据很少。我们的模型是一种条件扩散模型，它将三维手物几何结构和文本描述作为图像合成的输入。这种方法提供了更可控和逼真的合成，因为我们可以以分离的方式指定结构和样式输入。HOIDiffusion通过利用预先训练的大规模自然图像扩散模型和少量的三维人体演示来进行训练。除了可控的图像合成，我们采用生成的三维数据来学习六自由度物体姿态估计，并展示了它在提高感知系统方面的有效性。项目页面：https://mq-zhang1.github.io/HOIDiffusion。

论文旨在解决由于硬件限制而导致的3D手-物体交互数据稀缺的问题，并提出了一种生成逼真多样的3D手-物体交互数据的方法。

文中提出了一种条件扩散模型，将3D手-物体几何结构和文本描述作为图像合成的输入，从而实现更可控和逼真的合成。该模型通过利用预先训练的大规模自然图像和少量3D人体演示来进行训练。

该论文的亮点包括使用条件扩散模型生成逼真多样的3D手-物体交互数据，以及将生成的数据用于学习6D物体姿态估计并展示其在改善感知系统方面的有效性。该项目还提供了开源代码和数据集。

最近的相关研究包括使用GAN生成虚拟手势数据的研究，以及使用深度学习进行6D物体姿态估计的研究。