BeamAggR: Beam Aggregation Reasoning over Multi-source Knowledge for Multi-hop Question Answering

大型语言模型（LLMs）已经展示了强大的推理能力。然而，在处理知识密集型任务时，它们仍然存在事实错误的问题。检索增强推理代表了一种有前途的方法。然而，仍然存在重大挑战，包括对于复杂问题的不准确和不充分的检索，以及整合多源知识的困难。为了解决这个问题，我们提出了一种针对知识密集型多跳问答的推理框架——BeamAggR。BeamAggR在每个问题的跳跃中探索和优先考虑有前途的答案。具体而言，我们将复杂问题解析成树，其中包括原子和复合问题，然后进行自下而上的推理。对于原子问题，LLM在多源知识上进行推理，以获取答案候选项。对于复合问题，LLM结合光束候选项，通过概率聚合探索多个推理路径，并优先考虑最有前途的轨迹。对四个开放领域的多跳推理数据集的广泛实验表明，我们的方法比SOTA方法提高了8.5%。此外，我们的分析表明，BeamAggR能够更好地促进知识协作和答案聚合。

解决问题：BeamAggR论文试图解决知识密集型多跳问答中检索不准确、知识来源不足等问题。

关键思路：BeamAggR是一个基于beam search的知识密集型多跳问答推理框架，通过解析复杂问题，将其分解为原子问题和复合问题，并在每个问题的每个阶段探索和优先考虑最有希望的答案。

其他亮点：BeamAggR在四个开放领域的多跳推理数据集上进行了广泛的实验，表明其相对于当前最先进的方法提高了8.5%的性能。同时，BeamAggR促进了更好的知识协作和答案聚合。

相关研究：最近的相关研究包括KILT、HotpotQA和DROP等多跳问答数据集。