Probing the Decision Boundaries of In-context Learning in Large Language Models

在大型语言模型（LLMs）中，上下文学习是一种关键范式，它使它们能够通过简单地提示这些模型几个示例而不需要显式参数更新来推广到新任务和领域。许多尝试已经被做出来了，以理解LLMs中上下文学习作为模型规模、预训练数据和其他因素的函数。在这项工作中，我们提出了一种新的机制，从上下文二元分类的决策边界的角度来探究和理解上下文学习。决策边界容易可视化，并提供有关标准分类器的归纳偏差的定性行为的重要信息。令我们惊讶的是，我们发现当前LLMs在简单的二元分类任务中学习的决策边界通常是不规则和非平滑的，无论底层任务的线性可分性如何。本文研究影响这些决策边界的因素，并探索增强它们的泛化能力的方法。我们评估了各种方法，包括LLMs的无训练和微调方法、模型架构的影响以及平滑决策边界的数据有效方法的有效性。我们的发现提供了对上下文学习动态的更深入的理解，并提供了增强上下文学习的鲁棒性和泛化性的实用改进。

本文旨在探索和理解大型语言模型（LLMs）中的上下文学习机制，以及如何提高其决策边界的鲁棒性和泛化能力。

本文提出了一种新的机制来探索和理解在上下文二元分类中的决策边界，研究了影响这些决策边界的因素，并探索了提高其泛化能力的方法。

本文发现，当前LLMs在简单的二元分类任务中学习到的决策边界通常是不规则和不平滑的，无论基础任务是否线性可分。作者评估了各种方法，包括LLMs的无需训练和微调方法，模型架构的影响以及平滑决策边界的主动提示技术的有效性。实验结果表明，这些方法可以提高决策边界的鲁棒性和泛化能力。

在这个领域中，最近的相关研究包括《Language Models as Few-Shot Learners》、《Meta-Learning with Implicit Gradients》等。