论文标题：Sandwich Batch Normalization 论文链接：https://arxiv.org/abs/2102.11382 代码链接：https://github.com/VITA-Group/Sandwich-Batch-Normalization 作者单位：得克萨斯大学奥斯汀分校 只需修改几行代码，即可把BN变成SaBN，其在图像生成，NAS，对抗训练和风格迁移四大任务中涨点明显！助力GAN性能提升，代码刚刚开源！

我们介绍了三明治批归一化（SaBN），这是BN的一个轻松的改进，只需几行代码更改即可。SaBN是通过解决固有的特征分布异质性来激发的，这种异质性可以在许多任务中识别出来，这可以由数据异质性（多个输入域）或模型异质性（动态架构，模型条件等）引起。我们的SaBN将BN仿射层分解为一个共享的三明治仿射层，并由几个平行的独立仿射层级联。具体分析表明，在优化过程中，SaBN促进了平衡的梯度规范，同时仍保留了不同的梯度方向：许多应用程序任务似乎都喜欢这种特性。我们展示了SaBN作为四项任务中的替代产品的普遍有效性：条件图像生成，神经体系结构搜索（NAS），对抗训练和风格迁移。利用SaBN，借助三个最新的GAN，可立即在CIFAR-10和ImageNet条件图像生成上获得更好的初始分数和FID。大大提高了NAS-Bench-201上最先进的重量共享NAS算法的性能；大大提高了对抗防御的鲁棒性和标准精度；并产生出色的任意风格化结果。我们还提供可视化和分析功能，以帮助了解SaBN为何起作用。

内容中包含的图片若涉及版权问题，请及时与我们联系删除