Using Reinforcement Learning to Train Large Language Models to Explain Human Decisions

认知建模的核心目标是开发不仅能够预测人类行为，还能揭示其背后认知机制的模型。尽管在大规模行为数据上训练的神经网络模型通常具有强大的预测性能，但它们在提供可解释的认知过程说明方面往往表现不足。在本研究中，我们探讨了预训练大型语言模型（LLMs）作为双重功能认知模型的潜力——即能够在自然语言中实现准确预测与可解释说明的能力。具体而言，我们通过基于结果奖励的强化学习方法，引导大型语言模型生成明确的推理轨迹，以解释人类在风险决策中的选择。我们的研究结果表明，这种方法不仅能产生高质量的解释，还同时具备对人类决策的强大定量预测能力。

论文试图解决如何利用预训练大型语言模型（LLMs）来同时实现对人类风险决策行为的高精度预测和可解释的认知过程建模问题。这是一个长期存在的挑战，因为传统神经网络模型通常在预测能力与解释性之间存在权衡。

关键思路是通过强化学习结合结果导向奖励机制，引导LLMs生成明确的自然语言推理轨迹，以解释人类的风险选择行为。相比现有研究，该方法不仅关注模型的预测性能，还强调了其生成的解释是否符合人类认知逻辑，从而提升了模型的可解释性。

实验设计中采用了真实的人类风险决策数据集，并通过对比实验验证了强化学习优化后的LLMs在预测准确性和解释质量上的提升。此外，作者提供了模型生成的具体推理示例，展示了其解释的合理性。代码尚未开源，但未来可能进一步探索动态交互式任务中的应用，以及跨文化差异对模型表现的影响。

近期相关研究包括：1)《Interpretable Cognitive Models via Program Synthesis》探讨了程序合成技术用于构建可解释认知模型；2)《Neural Mechanisms for Sequential Decision-Making》分析了序列决策的神经基础；3)《Explainable AI in Risky Choice Tasks》提出了基于规则的解释框架；4)《Large Language Models as Cognitive Simulators》初步尝试将LLMs应用于认知模拟领域。