NumLLM: Numeric-Sensitive Large Language Model for Chinese Finance

最近，许多研究提出了各种金融大语言模型（FinLLMs），通过从头开始预训练或微调开源LLMs在金融语料库上。然而，现有的FinLLMs在涉及数字变量的问题中理解金融文本的表现不尽人意。在本文中，我们提出了一种新颖的LLM，称为数字敏感大语言模型（NumLLM），用于中文金融。我们首先从金融教材中构建了一个金融语料库，这对于在微调期间提高LLMs的数字能力至关重要。之后，我们通过在构建的金融语料库上微调，训练了两个单独的低秩适应（LoRA）模块。一个模块用于将通用LLMs适应到金融领域，另一个模块用于增强NumLLM理解带有数字变量的金融文本的能力。最后，我们将两个LoRA模块合并到基础模型中，以获得用于推理的NumLLM。在金融问答基准实验中，NumLLM可以提高基础模型的性能，并在数值和非数值问题上相对于所有基线模型都取得了最佳的总体性能。

本论文旨在解决现有金融大语言模型在处理数字变量时性能不佳的问题，提出了一种新型的基于数字敏感的大语言模型（NumLLM）。

论文提出了两个低秩自适应模块（LoRA），一个用于将通用大语言模型适应到金融领域，另一个用于提高NumLLM处理数字变量的能力，最终将两个模块合并为NumLLM进行推理。

论文构建了一个金融语料库，用于提高LLMs处理数字变量的能力；实验结果表明，NumLLM在处理数字和非数字问题方面均表现优异，并且比所有基线模型都表现更好。

最近的相关研究主要集中在金融大语言模型的构建和优化上，例如《FinBERT: A Pre-trained Financial Language Representation Model for Financial Text Mining》和《Financial PhraseBank: A Corpus for Financial Sentiment Analysis》。