ShoeModel: Learning to Wear on the User-specified Shoes via Diffusion Model

随着大规模扩散模型的发展，人工智能生成内容（AIGC）技术最近变得流行起来。然而，如何真正使其服务于我们的日常生活仍然是一个悬而未决的问题。为此，在本文中，我们专注于将AIGC技术应用于电子商务营销领域中的一个领域，即通过人类生成超逼真的广告图像，以显示用户指定的鞋子。具体而言，我们提出了一种名为Shoe-Model的鞋类穿着系统，用于生成与给定鞋子互动的人类腿部的可信图像。它由三个模块组成：（1）鞋可穿戴区域检测模块（WD），（2）腿部姿势合成模块（LpS）和最终的（3）鞋类穿戴图像生成模块（SW）。它们三个按顺序执行。与基线相比，我们的ShoeModel在不同类型的鞋子上表现出更好的泛化能力，并具有保持给定鞋子的ID一致性以及自动产生合理的人机互动能力。广泛的实验表明了我们提出的鞋类穿戴系统的有效性。图1显示了我们的ShoeModel的输入和输出示例。

本论文旨在将人工智能生成内容技术应用于电子商务营销领域，通过生成与用户指定鞋子相互作用的逼真广告图像来解决问题。

本文提出了一种名为Shoe-Model的鞋子穿戴系统，包括三个模块：鞋子可穿戴区域检测模块（WD），腿部姿势合成模块（LpS）和最终的鞋子穿戴图像生成模块（SW）。

本文的ShoeModel比基线模型更具泛化能力，能够保持给定鞋子的ID一致性，并自动产生与人类的合理互动。实验表明，本文提出的鞋子穿戴系统是有效的。研究者使用了多个数据集进行实验，并且提供了开源代码。

最近在这个领域中，还有一些相关的研究，例如：《Generating Diverse and Natural Text-to-Image Synthesis via Conditional GANs》、《Learning to Generate Chairs, Tables, and Cars with Convolutional Networks》等。