Towards Detecting LLMs Hallucination via Markov Chain-based Multi-agent Debate Framework

大语言模型（LLMs）的出现促进了自然语言文本生成的发展。但同时也带来了前所未有的挑战，其中内容幻觉成为了一个重要的问题。现有的解决方案通常涉及训练过程中昂贵而复杂的干预措施。此外，一些方法强调问题的分解，而忽视了关键的验证过程，导致性能下降或应用受限。为了克服这些限制，我们提出了一个基于马尔可夫链的多智能体辩论验证框架，以提高简明主张中幻觉检测的准确性。我们的方法整合了事实核查过程，包括主张检测、证据检索和多智能体验证。在验证阶段，我们通过灵活的基于马尔可夫链的辩论部署多个智能体来验证每个主张，确保细致的验证结果。在三个生成任务上的实验结果表明，我们的方法相对于基准线取得了显著的改进。

本论文旨在解决大语言模型（LLMs）自然语言文本生成中的内容幻觉问题，提出了一个基于马尔可夫链的多智能体辩论验证框架来增强对简明声明中幻觉检测的准确性。

论文提出了一个多智能体辩论验证框架，通过马尔可夫链来验证个体声明，从而确保细致的验证结果。

论文的实验结果表明，该方法在三个生成任务上均取得了显著的改进。该方法不需要在训练过程中进行昂贵和复杂的干预，同时重视验证过程，避免了性能下降或应用受限的情况。

相关研究包括：1.《A Survey on Fact-Checking Automation》；2.《Detecting False Information on Social Media》；3.《Hierarchical Graph Convolutional Networks for Fact-Checking》。