LLM In-Context Recall is Prompt Dependent

大型语言模型（LLMs）的广泛应用凸显了进行全面评估以区分它们的比较优势、限制和最佳使用情况的重要性。特别重要的是评估它们准确检索给定提示中包含的信息的能力。模型的这种能力显著影响其有效利用上下文细节的能力，从而影响其在实际应用中的实用性和可靠性。本研究使用草堆中的针方法分析了各种LLM的上下文召回表现。在这种方法中，一个事实（“针”）被嵌入到一段填充文本（“草堆”）中，要求模型检索。我们评估每个模型在不同的草堆长度和不同的针放置位置下的召回表现，以确定性能模式。本研究表明，LLM的召回能力不仅取决于提示的内容，而且可能会受到其训练数据中的偏见的影响。相反，模型架构、训练策略或微调的调整可以提高性能。我们的分析提供了LLM行为的见解，为开发更有效的LLM应用提供了方向。

评估大型语言模型的信息检索能力，包括其优点、局限性和最佳使用情况。研究表明，LLM的召回能力不仅取决于提示内容，还可能受到训练数据中的偏见影响。

通过使用“大海捞针”方法分析各种LLM的上下文召回性能，即在一段填充文本（“大海”）中嵌入一个事实（“针”），并要求模型检索。通过评估每个模型在不同的填充文本长度和不同的针位置下的召回性能，以确定性能模式，并提出了改进模型体系结构、训练策略或微调以提高性能的建议。

实验设计了“大海捞针”方法评估LLM的上下文召回能力，发现LLM的召回能力不仅取决于提示内容，还可能受到训练数据中的偏见影响。研究结果可以为LLM的应用提供指导，同时也为改进LLM的性能提供了方向。

最近的相关研究包括《GPT-3》、《BERT》等大型语言模型的性能评估和改进研究，以及针对自然语言处理任务的其他模型和方法的研究。