In-context Learning with Retrieved Demonstrations for Language Models: A Survey

语言模型，尤其是预训练的大型语言模型，展示了惊人的能力，作为在上下文中少量示范（ICL）的学习者，能够仅通过少量示范适应新任务。然而，模型执行ICL的能力对少量示范的选择非常敏感。最近的一个发展是，不使用固定的示范集，而是检索适合每个输入查询的示范。演示检索的实现相对简单，利用现有的数据库和检索系统。这不仅提高了学习过程的效率和可扩展性，而且已经显示出可以减少手动示例选择中固有的偏见。鉴于鼓舞人心的结果和在检索演示中不断增长的研究，我们对这一领域的研究进行了广泛的回顾。在这项调查中，我们讨论并比较了检索模型、检索训练过程和推理算法的不同设计选择。

论文旨在探讨使用检索式演示来提高语言模型的少样本学习能力。

使用检索式演示代替固定的演示可以提高学习效率和可扩展性，同时减少手动选择演示所带来的偏差。

论文讨论和比较了不同的检索模型、检索训练过程和推理算法的设计选择。实验使用了多个数据集，并公开了代码和数据集。值得进一步研究的是如何使用检索式演示来解决更复杂的任务。

最近的相关研究包括《Few-Shot Learning with Meta-Annotated Imagery》、《Few-shot Learning with Graph Neural Networks》等。