Diffusion Handles: Enabling 3D Edits for Diffusion Models by Lifting Activations to 3D

Diffusion Handles是一种新颖的方法，可以在扩散图像上实现3D物体编辑。我们使用现有的预训练扩散模型和2D图像深度估计来完成这些编辑，而无需进行任何微调或3D物体检索。编辑结果保持合理、逼真，并保留物体身份。Diffusion Handles解决了生成图像设计中一个关键缺失的方面，并显著推进了生成图像编辑的技术水平。我们的关键洞察是使用代理深度将物体的扩散激活提升到3D，对深度和相关激活进行3D变换，然后将其投影回图像空间。应用于具有身份控制的操作激活的扩散过程，产生了逼真的编辑图像，显示了复杂的3D遮挡和照明效果。我们通过大规模的合成数据基准定量评估了Diffusion Handles，并通过用户研究进行了定性评估，结果显示我们的输出在3D编辑和身份控制方面比之前的技术更加合理、更好。项目网页：https://diffusionhandles.github.io/。

Diffusion Handles试图解决的问题是如何在3D对象上进行编辑，而不需要进行fine-tuning或3D对象检索。这是一个新问题。

Diffusion Handles的关键思路是利用现有的预训练扩散模型和2D图像深度估计来实现对象的3D编辑，通过将对象的扩散激活提升到3D，进行3D变换和相关激活，然后将其投影回图像空间，从而产生逼真的编辑结果，并保留对象身份。

论文通过大量的合成数据基准测试和用户研究，定量和定性地评估了Diffusion Handles的性能。实验结果表明，Diffusion Handles在3D编辑和身份控制方面优于现有的方法。此外，论文提供了项目网页和开源代码。

最近在这个领域中，还有一些相关的研究，如DeepSDF，PixelNeRF和GAN-based方法。