Encapsulating Knowledge in One Prompt

这种范式将来自各种模型的知识封装到一个单一的提示中，而不改变原始模型或需要访问训练数据，从而使我们能够在更现实的情境下实现高效和便捷的知识转移。从实用性的角度来看，这种范式不仅首次证明了在数据不可访问的情况下视觉提示的有效性，还解决了传统的无数据知识转移面临的低模型可重用性和高存储资源消耗的问题，这意味着我们可以在不修改任何源模型的情况下实现多个模型的并行知识转移。在各种数据集和模型上进行的广泛实验证明了所提出的KiOP知识转移范式的有效性。在没有访问真实训练数据和严格的存储容量限制的情况下，它也能够处理跨模型骨干设置和处理多个（超过2个）模型的并行知识转移处理请求时产生可观的结果。

本论文旨在提出一种新的数据无关知识转移（Data-Free Knowledge Transfer）范式，以解决传统知识转移方法的低模型可重用性和高存储资源消耗的问题，同时证明视觉提示（Visual Prompt）在数据不可访问的情况下的有效性。

本论文提出了一种名为KiOP的知识转移范式，将来自不同模型的知识融合到一个单一的提示中，实现了多个模型的并行知识转移而无需修改源模型。

本论文的实验结果表明，KiOP知识转移范式在处理跨模型骨干网络设置和处理多个模型的并行知识转移处理请求时具有显著的成果。同时，在没有访问实际训练数据和严格的存储容量限制的情况下，KiOP知识转移范式也能够产生相当可观的结果。

在相关研究方面，最近的研究包括Self-Supervised Learning with Swin Transformers（2021）、Learning Transferable Visual Models From Natural Language Supervision（2020）等。