论文标题:Generative Adversarial Transformers 论文链接:https://arxiv.org/abs/2103.01209 代码链接:https://github.com/dorarad/gansformer 作者单位:斯坦福大学 & Facebook GANsformer:一种新颖且高效的双向Transformer,结合了自上而下和自下而上的相互作用,并针对生成建模的任务进行了探索,表现SOTA!优于VQGAN、StyleGAN2等,代码刚刚开源!
我们介绍GANsformer,这是一种新型,高效的Transformer,并对其进行了可视化生成建模的任务进行了探索。该网络采用双向结构,可在整个图像上进行远距离交互,同时保持线性效率的计算,可以轻松扩展至高分辨率合成。它迭代地将信息从一组潜在变量传播到不断发展的视觉特征,反之亦然,以支持根据彼此的细化,并鼓励出现对象和场景的合成表示。与经典的Transformer架构相比,它采用乘法集成,可以实现基于区域的灵活调制,因此可以看作是成功的StyleGAN网络的泛化。我们通过对从模拟多对象环境到丰富的现实室内和室外场景的一系列数据集进行仔细评估,证明了该模型的强度和鲁棒性,表明该模型在图像质量和多样性,同时享受快速学习和更好的数据效率。进一步的定性和定量实验为我们提供了对模型内部工作的洞察力,揭示了改进的可解释性和更强的解缠结性,并说明了我们方法的好处和功效。
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢