RHanDS: Refining Malformed Hands for Generated Images with Decoupled Structure and Style Guidance

虽然扩散模型可以生成高质量的人类图像，但它们的应用受到手部正确结构不稳定的限制。一些先前的工作通过考虑手部结构来缓解问题，但是在改善畸形手和其他图像区域之间的样式一致性方面仍然存在困难。在本文中，我们旨在解决手部结构和样式不一致的问题。我们提出了一种基于条件扩散的框架RHanDS，通过解耦结构和样式指导来细化手部区域。具体而言，结构指导是从畸形手重建的手网格，用于纠正手部结构。样式指导是手部图像，例如畸形手本身，用于为手部细化提供样式参考。为了在参考手部样式时抑制结构泄漏并有效利用手部数据提高模型的能力，我们构建了一个多样式手部数据集，并引入了两阶段训练策略。在第一阶段，我们使用成对手部图像进行训练，以生成具有与参考相同样式的手部。在第二阶段，基于人体网格生成的各种手部图像用于训练，使模型能够控制手部结构。我们在所提出的多样式手部数据集的测试数据集上评估了我们的方法和对比方法。实验结果表明，与先前的方法相比，RHanDS可以有效地正确细化手部结构和样式。代码和数据集将很快提供。

本文旨在解决扩散模型生成手部结构正确的问题，并保持风格一致性。之前的方法考虑手部结构，但在修复畸形手部的同时难以保持风格一致性。

本文提出了一种名为RHanDS的条件扩散框架，通过解耦结构和风格指导来改进手部区域。结构指导是从畸形手部重建的手部网格，用于纠正手部结构。风格指导是手部图像，例如畸形手本身，用于为手部细化提供风格参考。为了抑制结构泄漏并有效利用手部数据以提高模型能力，我们构建了一个多样式手部数据集，并引入了两阶段训练策略。

本文的亮点包括使用多样式手部数据集进行训练、引入两阶段训练策略以提高模型能力、使用结构和风格指导来纠正手部结构并保持风格一致性。实验结果表明，RHanDS相比之前的方法能够有效地改进手部结构和风格。

在这个领域中，最近的相关研究包括："High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs"、"Learning to Generate High-Fidelity Images with a Subscale Pixel Network"、"Generative Adversarial Networks"等。