【生成对抗网络】用于文本引导图像处理的轻量级生成对抗网络（NeurIPS 2020） 【论文标题】Lightweight Generative Adversarial Networks for Text-Guided Image Manipulation 【生成对抗网络】用于文本引导图像处理的轻量级生成对抗网络（NeurIPS 2020） 【作者团队】Bowen Li, Xiaojuan Qi, Philip H. S. Torr, Thomas Lukasiewicz 【发表时间】2020/10/23 【代码链接】https://github.com/mrlibw/Lightweight-Manipulation 【论文链接】https://arxiv.org/abs/2010.12136 【推荐理由】 本文收录于NeurIPS 2020会议，来自牛津大学&香港大学的研究人员提出一个轻量级生成对抗网络，以使用自然语言描述进行高效的图像处理。 如何有效地编辑给定图像而无需人工操作，这是一个充满挑战但意义重大的任务。作者着力于根据用户提供的文字描述在语义上修改图像的各个部分（例如颜色，纹理和整体样式）。 在现有对这个任务的相关研究中，最新的模型采用带有多对生成器-判别器的多阶段网络，这在训练过程中需要非常大的内存空间，并且训练时间和推理时间也非常漫长，这对于内存限制的设备而言不太实用。然而一味的减少模型参数和阶段的方法并不能取得令人满意的结果，这种缩减模型存在以下科学问题： （1） 判别器不能给生成器提供与每个单词相关的细粒度训练反馈，只是简单地计算整个文本和图像的相似度，从而导致网络需要大量的参数用来构建一个关于视觉属性和对应语义词精确映射关系，从而极大地阻碍了轻量级模型的构建。 （2）差的训练反馈使模型不能完全解耦出不同的视觉属性，从而导致属性与对应的语义词之间的映射不正确，一些文本无关的内容被修改。 基于以上问题，作者提出了一种新的单词级别分类器可以显式地提取出与每个单词相关的训练信号，可以给生成器提供与每个单词相关的细粒度训练反馈，从而有助于训练具有更少参数的轻量级生成器，同时可以高效的解耦不同视觉属性，使视觉属性可以正确地和对应语义词映射。 具体框架如下：

内容中包含的图片若涉及版权问题，请及时与我们联系删除