Fin-R1: A Large Language Model for Financial Reasoning through Reinforcement Learning

大型语言模型在各个领域的推理能力正在迅速发展。然而，它们在处理复杂金融任务方面的能力仍需深入探索。在本文中，我们介绍了Fin-R1，这是一种专为金融领域设计的推理型大型语言模型。Fin-R1采用两阶段架构构建，利用基于DeepSeek-R1提炼和处理的金融推理数据集进行训练。通过监督微调（SFT）和强化学习（RL）训练，该模型在多种金融推理任务中展现出接近DeepSeek-R1（参数规模为70亿）的性能。在我们的评估中，Fin-R1在FinQA和ConvFinQA任务中达到了同类语言模型中的最先进（SOTA）水平，并在其他任务中超越了更大规模的模型。Fin-R1展示了强大的推理与决策能力，为金融领域中遇到的各种问题提供了有效解决方案。我们的代码已开源，可在以下地址获取：https://github.com/SUFE-AIFLM-Lab/Fin-R1。

该论文试图解决大型语言模型在复杂金融任务中的推理能力不足问题，尤其是探索如何设计一个专门针对金融领域的语言模型来提升其决策和推理能力。这是一个相对较新的问题，因为虽然大型语言模型已经广泛应用于多个领域，但其在金融推理任务中的表现仍需进一步优化。

论文提出了一种名为Fin-R1的两阶段架构模型，基于DeepSeek-R1进行改进，通过监督微调（SFT）和强化学习（RL）训练方法，专注于金融推理任务。相比现有研究，Fin-R1不仅在参数规模上较小（7亿参数），还在多个金融推理基准测试中超越了更大规模的模型，这表明特定领域优化的重要性。

Fin-R1在FinQA和ConvFinQA等金融推理任务中达到了当前最佳水平（SOTA），并证明了小规模模型经过精细调整后也能超越大规模通用模型的表现。此外，作者提供了开源代码（https://github.com/SUFE-AIFLM-Lab/Fin-R1），为后续研究者提供了可复现性和进一步开发的基础。未来可以继续深入研究如何将这种领域特定模型扩展到更多金融场景或更复杂的任务中。

近期相关研究包括：1) DeepSeek系列模型（如DeepSeek-R1），它们为Fin-R1提供了基础架构和技术支持；2) 金融领域其他专用模型，例如FinBERT和SecBert，这些模型主要关注文本分类和情感分析任务；3) 其他强化学习与语言模型结合的研究，如Qwen、GPT-4等，它们展示了RL在提升模型性能方面的潜力。