Retrieval-Augmented Thought Process as Sequential Decision Making

大型语言模型（LLMs）已经展示了它们协助人们并展现“智能火花”的强大能力。然而，一些挑战阻碍了它们更广泛的应用，例如对隐私的担忧、产生幻觉的倾向以及处理长篇文本的困难。在本研究中，我们通过引入检索增强思维过程（RATP）来解决这些挑战。给定对外部知识的访问权限，RATP将LLMs的思维生成形式化为多步决策过程。为了优化这样的思维过程，RATP利用蒙特卡罗树搜索，并学习了一个Q值估计器，以实现高效的推理。在处理具有私人数据的问答任务时，伦理和安全问题限制了LLM训练方法，RATP在上下文检索增强语言模型方面实现了50%的改进。

本论文试图解决大型语言模型在隐私、幻觉和长文本处理方面存在的挑战，通过引入检索增强思维过程（RATP）来解决这些挑战。

RATP将LLMs的思维生成过程形式化为多步决策过程，并利用蒙特卡罗树搜索和学习Q值估计器来优化思维过程，同时利用外部知识来增强检索。在处理私有数据的问答任务中，RATP相比现有的上下文检索增强语言模型实现了50％的性能提升。

该论文的亮点包括使用RATP解决LLMs的隐私、幻觉和长文本处理挑战，使用蒙特卡罗树搜索和Q值估计器来优化思维过程，以及在处理私有数据的问答任务中实现50％的性能提升。该论文使用了多个数据集进行实验，并提供了代码。

近期的相关研究包括《ERNIE-Gram：基于语言模型的中文预训练模型》、《BERT：预训练深度双向Transformer编码器用于语言理解》、《检索增强的语言模型》等。