Why does in-context learning fail sometimes? Evaluating in-context learning on open and closed questions

我们通过对开放性和封闭性问题的任务新颖性和难度的函数进行上下文学习的性能测量。为此，我们创建了一个新的基准，由一些难度较大的科学问题和各种相关性的上下文组成。我们表明，与主题更相关的上下文并不总是比不相关的上下文更有帮助，这种效应在开放性问题和高难度或新颖性问题中尤为明显。这一结果揭示了大型语言模型处理封闭式和开放式问题的根本差异，并表明需要对各种不同类型问题进行更强大的上下文学习评估。它还提出了一个新的问题，即如何在Retrieval Augmented Generation（RAG）系统的上下文中选择最佳上下文，尤其是对于大型语言模型。我们的结果表明，这个问题的答案可能高度依赖于应用程序，并可能取决于问题的格式、难度水平和我们寻求的信息的新颖性或流行程度。

本篇论文旨在评估大型语言模型在不同背景下对于开放式和封闭式问题的上下文学习表现，并探讨如何在Retrieval Augmented Generation（RAG）系统中优化上下文选择。

相比于当前对于封闭式问题的处理，本篇论文发现大型语言模型在面对开放式问题时，在选择上下文时需要考虑问题的难度、新颖性和应用场景等因素。

论文提出了一个包含具有不同相关性的科学难题的基准测试集，通过实验发现，与问题主题高度相关的上下文并不总是比较不相关的上下文更有帮助。实验结果表明，在评估大型语言模型在不同类型问题上的表现时，需要考虑问题的类型和难度等因素。

在相关研究方面，目前已有许多研究探讨了语言模型中上下文的作用，例如BERT、GPT等。此外，也有一些研究关注于如何在RAG系统中优化上下文选择，例如《Dense Passage Retrieval for Open-Domain Question Answering》。