CoLLEGe: Concept Embedding Generation for Large Language Models

当前的语言模型无法快速学习新概念，通常需要更深入的微调过程才能学习到强健的模型。在上下文中提示并不稳健，经常无法提供有关新概念的大量信息。传统的自然语言处理中几个词汇学习的方法依赖于全局词向量，不太适用于大型语言模型。本文介绍了一种名为CoLLEGe（Concept Learning with Language Embedding Generation）的新方法，用于现代化的几个词汇学习。CoLLEGe是一个元学习框架，能够使用少量示例句子或定义生成新概念的灵活嵌入。我们的主要元学习目标是简单地促进语言模型在接下来的句子中进行下一个单词预测，使其与语言模型预训练兼容。我们设计了一系列任务来测试在具有挑战性的现实场景中的新概念学习，包括新词汇习得、定义推断和语言推理，并证明我们的方法在每个设置中都能成功，无需特定任务的训练。

论文旨在解决自然语言处理中的few-shot概念学习问题，即如何通过少量样本快速学习新概念。

论文提出了一种名为CoLLEGe的元学习框架，能够通过少量样本生成灵活的嵌入表示，用于新概念的学习。其主要元学习目标是帮助语言模型在即将到来的句子中进行下一个词预测，使其与语言模型预训练相兼容。

论文在多个具有挑战性的现实场景中测试了新概念学习，包括新词获取、定义推理和语言推理，并证明了该方法在每个场景中都能成功，而无需特定任务的训练。

最近的相关研究包括MetaNLP和ProtoNLP等元学习方法，以及使用预训练语言模型进行few-shot学习的研究，如GPT-3和T5等。