It's About Time: Incorporating Temporality in Retrieval Augmented Language Models

本文讨论了信息检索领域面临的一个关键挑战，即如何确保用户在搜索信息时能够获得最相关和最新的信息，尤其是在存在来自不同时间点的多个版本的网页内容时。网络作为全球知识库，被数十亿人用于搜索信息。然而，近年来，由于越来越多的问答工具使用维基百科或网络内容进行训练，并由大型语言模型（LLM）提供支持，这一挑战变得更加复杂。这些工具被发现会捏造信息（或产生幻觉），并且在处理信息的时间维度上也存在困难。即使是包含文档数据库以减少LLM幻觉的Retriever Augmented Language Models（RALMs）也无法正确处理时间查询。这导致RALMs对查询的回应，例如“谁赢得了温布尔登锦标赛？”，只检索与温布尔登有关的文档段落，但无法根据这些段落的更新程度进行区分。本文提出并评估了TempRALM，这是一种具有少量训练扩展的时间感知Retriever Augmented Language Model（RALM），它考虑到与给定查询相关的语义和时间上相关的文档，而不是仅依赖语义相似性。我们展示了我们的方法相对于基线RALM模型的性能提高高达74％，而不需要进行模型预训练、重新计算或替换RALM文档索引，或添加其他计算密集型元素。

解决问题：如何在信息检索中处理时间维度的问题，使得检索结果更加准确？

关键思路：提出了一种基于Retriever Augmented Language Model（RALM）的TempRALM模型，通过考虑文档的语义和时间信息，实现了更加准确的信息检索。

亮点：实验结果表明，相比于基准的RALM模型，TempRALM模型的性能提升了74%。此外，该模型无需进行预训练，也不需要重新计算或替换RALM文档索引，具有较高的实用性。

相关研究：最近的相关研究包括《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》、《A Retrieval-Augmented Metric for Evaluating Open-Domain Dialogue Generation》等。