Tactile DreamFusion: Exploiting Tactile Sensing for 3D Generation

3D生成方法在扩散图像先验的驱动下展示了令人信服的视觉效果。然而，这些方法往往无法生成逼真的几何细节，导致表面过于平滑或几何细节不准确地嵌入到反照率图中。为了解决这一问题，我们提出了一种新方法，通过引入触觉作为额外的模态来改善生成的3D资产的几何细节。我们设计了一个轻量级的3D纹理场，以合成视觉和触觉纹理，并由视觉和触觉领域的2D扩散模型先验进行引导。我们在高分辨率触觉法线的条件下生成视觉纹理，并使用定制的TextureDreambooth指导基于块的触觉纹理细化。我们进一步提出了一种多部分生成管道，使我们能够合成不同区域的各种纹理。据我们所知，我们是第一个利用高分辨率触觉感知来增强3D生成任务中的几何细节的研究。我们在文本到3D和图像到3D两种设置中评估了我们的方法。实验结果表明，我们的方法能够在保持视觉和触觉两种模态之间准确对齐的同时，提供定制化且逼真的细几何纹理。

该论文旨在解决现有3D生成方法在生成几何细节时的不足，如表面过于平滑或几何细节不准确地嵌入到反照率图中。这是一个新问题，因为之前的研究主要集中在视觉效果上，而忽视了触觉信息对几何细节的影响。

论文提出了一种新的方法，通过引入触觉作为额外的模态来改善3D资产的几何细节。具体来说，设计了一个轻量级的3D纹理场，用于合成视觉和触觉纹理，并通过2D扩散模型先验在视觉和触觉域上进行引导。此外，还提出了一个多部分生成管道，以在不同区域合成不同的纹理。这一思路的新颖之处在于首次利用高分辨率触觉传感来增强3D生成任务中的几何细节。

1. 通过高分辨率触觉正常值条件化视觉纹理生成，提高了几何细节的真实感。 2. 使用定制的TextureDreambooth进行基于补丁的触觉纹理细化，确保视觉和触觉模态之间的准确对齐。 3. 实验设计包括文本到3D和图像到3D两种设置，验证了方法的有效性。 4. 论文提供了详细的实验结果，展示了生成的3D资产在视觉和触觉上的高质量。 5. 没有提及代码开源情况，但未来的工作可以进一步探索多模态生成的其他应用。

1. "3D Diffusion Models for Multi-View Image Synthesis" - 探索了扩散模型在多视图图像合成中的应用。 2. "Touch-Enhanced 3D Reconstruction from RGB-D Data" - 研究了触觉信息在3D重建中的作用。 3. "Multimodal 3D Object Generation with Conditional Diffusion Models" - 利用条件扩散模型生成多模态3D对象。 4. "Learning Tactile Representations for 3D Object Recognition" - 研究了触觉表示在3D物体识别中的应用。 5. "High-Resolution Tactile Sensing for Robotic Manipulation" - 探讨了高分辨率触觉传感在机器人操作中的应用。