Bayesian Example Selection Improves In-Context Learning for Speech, Text, and Visual Modalities

大型语言模型（LLMs）可以通过上下文学习（ICL）适应新任务，只需在对话历史中呈现几个示例，而无需进行任何模型参数更新。尽管具有这样的便利性，ICL的性能严重依赖于呈现的上下文示例的质量，这使得上下文示例选择方法成为关键选择。本文提出了一种新颖的贝叶斯上下文示例选择方法（ByCS）来进行ICL。通过基于贝叶斯定理的上下文示例条件推理概率，ByCS专注于基于测试输入的逆推理。根据准确的逆推理概率（似然）将导致准确的推理概率（后验）的假设，选择上下文示例基于它们的逆推理结果。使用语音，文本和图像示例进行了多样化和广泛的跨任务和跨模态实验。实验结果显示了我们的ByCS方法在各种模型，任务和模态上的有效性和稳健性。

本论文旨在解决in-context learning (ICL)中in-context example selection的问题，提出了一种基于贝叶斯推断的方法（ByCS），通过选择逆推结果准确的in-context examples来提高ICL的性能。

ByCS方法通过贝叶斯推断来选择in-context examples，将重点放在逆推结果上，以提高ICL的性能。相比之前的研究，ByCS提供了一种新的思路。

论文在语音、文本和图像等不同领域进行了实验，证明了ByCS方法在各种模型、任务和模态下的有效性和鲁棒性。此外，论文还提供了数据集和代码，值得进一步研究。

最近在这个领域的相关研究包括： 1. Learning to Select Examples for Out-of-Distribution Detection 2. Active Learning for In-Context Natural Language Processing Tasks 3. Uncertainty-Aware Learning from Demonstrations Using Mixture of Gaussian Processes