ICLR: In-Context Learning of Representations

最近的研究表明，预训练数据所规定的语义会影响大型语言模型（LLM）中不同概念表示的组织方式。然而，鉴于LLM的开放性特点，例如它们能够进行上下文学习，我们可以探讨这些模型是否会改变预训练语义以采用替代的、由上下文指定的语义。具体来说，如果我们提供一些在上下文中示例，在这些示例中某个概念扮演的角色与预训练数据所暗示的不同，模型是否会根据这些新的语义重新组织其表示？为了解答这个问题，我们从概念角色语义理论中获得启发，定义了一个简单的“图追踪”任务，其中图的节点通过训练过程中见过的概念（如苹果、鸟等）来引用，而图的连接性则通过某种预定义结构（如正方形网格）来定义。给定指示图上随机游走痕迹的示例，我们分析了模型的中间表示，并发现随着上下文量的增加，模型表示会突然从预训练语义表示重新组织为与图结构对齐的上下文表示。此外，我们发现当引用概念在其语义上有相关性（例如星期一、星期二等），上下文指定的图结构仍然存在于表示中，但无法主导预训练结构。为了解释这些结果，我们将我们的任务类比为预定义图拓扑的能量最小化，提供了证据表明存在一个隐式的优化过程来推断上下文指定的语义。总体而言，我们的研究结果表明，增加上下文规模可以灵活地重新组织模型表示，可能解锁新的能力。

论文试图探讨大型语言模型（LLM）是否能够在给定上下文的情况下，重新组织其预训练语义表示以适应新的、由上下文指定的语义结构。这是一个相对较新的问题，它关注的是LLM在面对与预训练数据不同的新概念角色时的适应能力。

关键思路是通过一个名为“图追踪”的玩具任务来分析模型内部表示的变化。在这个任务中，节点通过预训练期间见过的概念（如苹果、鸟等）引用，并根据预定义的结构（如方格网络）定义连接性。研究发现，随着上下文量的增加，模型表示会突然从预训练语义转换为与图结构对齐的上下文特定表示。这种思路的新颖之处在于它不仅验证了LLM可以适应新的语义结构，还揭示了这种转变的具体机制。

该研究设计了一个创新的任务来测试LLM的语义适应性，并通过分析模型的中间层表示来观察变化。实验使用了自定义生成的数据集进行图结构和随机游走路径的示例提供。虽然没有提到开源代码，但研究提出了未来值得深入的方向，例如探索更复杂的语义结构和不同类型的上下文影响。此外，当参考概念之间存在语义相关性时，研究发现即使有预训练语义的影响，模型仍然能够保留上下文指定的图结构。

最近在这个领域内的相关研究包括：1. 探讨预训练模型如何通过少量示例学习新任务的工作；2. 研究LLM在不同上下文下的泛化能力；3. 分析模型内部表示随输入变化的研究。一些相关的论文标题可能是《Contextual Learning in Large Language Models》、《Semantic Adaptation of Pre-trained Models》、《In-context Learning and Representation Shifts》等。