纽约大学谢赛宁的图像生成模型新论文横空出世，论文创意性地将Transformer与扩散模型融合，在计算效率和生成效果上均超越了基于U-Net的经典模型ADM和LDM，打破了U-Net统治扩散模型的“普遍认知”。

论文提出的新架构名叫Diffusion Transformers（DiTs）。架构保留了很多ViT的特性，其中整体架构如图左（包含多个DiT模块），具体的DiT模块组成如图右：

更右边的两个灰色框的模块，则是DiT架构的“变体”。主要是探讨在条件输入下，不同的架构是否能对信息进行更好的处理，包括交叉注意力等。

最终结果表明，还是层归一化（Layer Normalization）更好用，这里最终选用了Adaptive Layer Normalization（自适应层归一化）的方法。

对于这篇论文研究的目的，作者表示希望探讨扩散模型中不同架构选择的重要性，以及也是给将来生成模型的评估做一个评判标准。

先说结果——作者认为，U-Net的归纳偏置（inductive bias），对于扩散模型性能提升不是必须的。

与之相反，他们能“轻松地”（readily）被Transformer的标准架构取代。

论文地址：
https://arxiv.org/abs/2212.09748v1

参考链接：
[1]https://twitter.com/ethanCaballero/status/1605621603135471616
[2]https://www.wpeebles.com/DiT
[3]https://paperswithcode.com/paper/scalable-diffusion-models-with-transformers#code

 

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除