王言治教授团队与美国色拉布公司（Snap Inc.）首次提出了一种GAN剪枝的方法，除了使压缩时间减少了四个数量级以外，还在远低于原始计算量的条件下，获得来比原有模型更好的性能，并且实现了更高的生成图片质量。论文已被CVPR 2021收录。

神经网络结构搜索有助于得到在计算机视觉任务中效果更好的深度神经网络，同时可以减小模型尺寸， 提高运行效率，实现移动端高速处理。

不同于判别式模型只需要得到比较简单的判断结果（如分类结果），生成式模型需要生成更加复杂的图像结构。

相比于前者，后者通常需要更大的计算量和更大规模的模型，这使得将生成式模型压缩以提高运行效率面临巨大挑战。

为此，美国东北大学王言治教授研究团队与美国色拉布公司（Snap Inc.）的创意视觉研究组共同提出了压缩与教学技术。论文已经被CVPR 2021会议收录。

论文地址：https://arxiv.org/abs/2103.03467

项目地址：https://dejqk.github.io/GAN_CAT/

通过将inception模块引入生成模型并进行神经网络结构搜索，从而使搜索空间扩展至包含多种不同核尺寸的卷积模块。

并且利用知识蒸馏用搜索过程中训练的大模型指导搜索出的小模型的训练过程，在远低于原始超大规模生成模型计算量的条件下实现优于原始超大规模生成模型的生成图片质量。

与原有的巨型生成模型相比，论文的方法得到的模型在压缩的同时可以生成更高质量的图片（FID越低图片质量越好），并且实现了SOTA的性能-效率取舍。

内容中包含的图片若涉及版权问题，请及时与我们联系删除