作者：Yotam Nitzan 、 Michael Gharbi、Richard Zhang、等

简介：本文研究图像生成新的领域适应方法：领域扩展；不同于领域自适应技术，本文提出的方法：可以学习额外的知识、同时保持现有知识的完整性，并且示范实验：可扩展到数百个新领域。能否将新概念注入已训练好的生成模型，同时尊重其现有结构和知识？作者提出了一项新任务——域扩展——来解决这个问题。给定一个预训练的生成器和新颖（但相关）的域，作者扩展生成器以和谐地联合建模所有新旧域。首先，作者注意到生成器包含一个有意义的、预训练的潜在空间。是否有可能在最大限度地代表新领域的同时最小化扰乱这个来之不易的代表？有趣的是，作者发现潜在空间提供了未使用的“休眠”方向，这不会影响输出。这提供了一个机会：通过“重新利用”这些方向，作者可以在不扰乱原始表示的情况下表示新的域。实际上，作者发现经过预训练的生成器有能力添加几个、甚至数百个的新领域！使用作者的扩展方法，一个“扩展”模型可以取代许多特定领域的模型，而无需扩展模型大小。此外，单个扩展生成器本身支持域之间的平滑过渡以及域的组合。

论文下载：https://arxiv.org/pdf/2301.05225.pdf

源码下载：https://yotamnitzan.github.io/domain-expansion/

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除