Chain-of-Action: Faithful and Multimodal Question Answering through Large Language Models

我们提出了一种用于多模态和检索增强问答（QA）的“行动链”（CoA）框架。与现有文献相比，CoA克服了当前QA应用的两个主要挑战：（i）不忠实的幻觉，这些幻觉与实时或领域事实不一致；（ii）对组成信息的弱推理性能。我们的主要贡献是一种新颖的推理检索机制，通过系统提示和预设计的操作将复杂问题分解为推理链。在方法上，我们提出了三种可适应领域的“即插即用”操作，用于从异构源中检索实时信息。我们还提出了多参考信仰分数（MRFS）来验证和解决答案中的冲突。在经验上，我们利用公共基准和Web3案例研究来展示CoA相对于其他方法的能力。

本文旨在提出一种基于Chain-of-Action (CoA)框架的多模态和检索增强问答系统，解决当前问答应用中存在的不忠实幻觉和弱推理性能的问题。

该论文的关键思路是通过系统提示和预设计的操作，将复杂问题分解成推理链，提出了一种新颖的推理-检索机制，并提出了三种可插拔的领域适应性操作来从异构源中检索实时信息。

该论文的亮点包括提出了一种新的推理-检索机制，解决了当前问答应用中存在的问题；提出了三种可插拔的领域适应性操作；提出了多参考信仰分数（MRFS）来验证和解决答案中的冲突；并在公共基准测试和Web3案例研究中展示了CoA的能力。

最近在这个领域中，还有一些相关的研究，例如：BERT、GPT等模型在问答任务中的应用。