HandRefiner: Refining Malformed Hands in Generated Images by Diffusion-based Conditional Inpainting

扩散模型在生成逼真图像方面取得了显著成功，但在生成准确的人手方面存在困难，如指数计数不正确或形状不规则。这种困难源于从训练图像中学习手的物理结构和姿势的复杂任务，其中涉及大量的变形和遮挡。为了正确生成手部，我们的论文引入了一种轻量级的后处理解决方案，称为HandRefiner。HandRefiner采用有条件的修补方法来矫正畸形的手，同时保持图像的其他部分不变。我们利用手部网格重建模型，该模型始终遵循正确的手指数量和手的形状，同时能够适应生成图像中所需的手势。对于由于畸形手而生成失败的图像，我们利用ControlNet模块重新注入正确的手部信息。此外，我们发现在控制强度变化时，ControlNet中存在相变现象。它使我们能够利用更容易获得的合成数据，而不会受到逼真和合成手之间的域差异的影响。实验表明，HandRefiner可以在定量和定性方面显著提高生成质量。代码可在https://github.com/wenquanlu/HandRefiner上获得。

解决问题：论文旨在解决扩散模型生成手部图像时存在的问题，如手指数目不正确或形状不规则等。这是一个新问题。

关键思路：论文引入了名为HandRefiner的轻量级后处理解决方案，利用条件修复方法修复不良手部图像，同时保持图像其他部分不变。该方法利用手部网格重建模型，该模型始终遵循正确的手指数目和手部形状，并能够适应所生成图像中所需的手部姿势。当生成的图像因手部形状不良而失败时，使用ControlNet模块重新注入正确的手部信息。

其他亮点：论文发现了ControlNet中随着控制强度变化而产生的相变现象，使我们能够利用更容易获得的合成数据而不会受到真实和合成手部之间的领域差异的影响。实验表明，HandRefiner可以在定量和定性上显著提高生成质量。研究代码已开源。

相关研究：最近的相关研究包括使用GAN生成手部图像、使用深度学习模型进行手部姿势估计等。