UDON: Universal Dynamic Online distillatioN for generic image representations

通用图像表示对于实现实际的细粒度和实例级别识别应用至关重要，其中任何领域的对象和实体都必须在大规模上进行识别。尽管最近取得了一些进展，但现有方法无法捕捉重要的领域特定知识，同时也忽略了不同领域之间数据分布的差异。这导致了高效通用解决方案和利用一组专业模型（每个领域一个）的昂贵方法之间的巨大性能差距。在这项工作中，我们通过引入一种新的学习技术，称为UDON（通用动态在线蒸馏），在缩小这一差距方面取得了重大进展。UDON采用多教师蒸馏的学习方法，其中每个教师专门针对一个领域进行专业化，将详细的领域特定知识传递到学生通用嵌入中。UDON的蒸馏方法不仅有效，而且非常高效，通过在学生和所有教师之间共享大部分模型参数，所有模型都以在线方式联合训练。UDON还包括一种采样技术，该技术将培训过程动态分配给学习速度较慢且需要更频繁处理的领域。这显著提高了复杂领域的学习，这些领域以大量类别和长尾分布为特征。通过全面的实验，我们验证了UDON的每个组件，并展示了在最近的UnED基准测试中相对于现有技术的显着改进。代码：https://github.com/nikosips/UDON。

论文旨在解决实现大规模领域无关的细粒度和实例级别识别应用的问题，同时捕捉特定领域的知识和不同领域数据分布的差异，以缩小通用和专业模型之间的性能差距。

UDON（Universal Dynamic Online DistillatioN）是一种新的学习技术，采用多教师蒸馏，其中每个教师都专门针对一个领域进行专业化，将详细的领域特定知识转移至学生的通用嵌入中。UDON的蒸馏方法不仅有效，而且非常高效，通过在学生和所有教师之间共享大部分模型参数，所有模型都是联合训练的。UDON还包括一种采样技术，它能够动态分配批次以适应学习速度较慢且需要更频繁处理的领域。这提高了复杂领域的学习，这些领域具有大量类别和长尾分布。

论文验证了UDON的每个组件，并展示了在最近的UnED基准测试中相比现有技术的显著改进。实验设计了广泛的实验，使用了多个数据集，并提供了开源代码。值得进一步研究的工作包括进一步探索UDON的扩展性和适用性，并将其应用于其他任务和领域。

最近在这个领域中，还有一些相关的研究，如：'Unsupervised Domain Adaptive Embedding for Fine-Grained Recognition'，'Learning Universal Representations for Domain Adaptation'，'Domain Adaptive Embedding Learning for Zero-Shot Recognition'等。