THaLLE: Text Hyperlocally Augmented Large Language Extension -- Technical Report

最近大型语言模型（LLMs）的进展揭示了技术领域中的新能力和机遇。然而，非常大的LLMs的实用性受到其高计算成本的挑战，考虑到它们与人类相比的有限能力，这种成本是不值得的。虽然更小、更实用的LLMs在金融分析方面表现出潜力，但它们还不完全熟练，这一点可以通过它们在特许金融分析师（CFA）考试中近乎及格的表现得到证明。在这项工作中，我们提出了金融分析师扩展到我们的文本超本地增强大语言扩展（THaLLE），这是一系列8B LLMs，与相同大小的模型相比，在模拟CFA考试中始终实现最高性能。我们详细记录了用于促进未来研究的微调技术。此外，我们介绍了Flare CFA的使用，这是一个公开可用的数据集，用于评估LLMs作为财务顾问的能力。

本论文旨在通过提出一种新的8B LLM模型THaLLE，解决当前大型LLM高计算成本的问题，并探索其在金融分析领域的应用。同时，论文还介绍了一个用于评估LLM作为金融顾问的公共数据集Flare CFA。

论文的关键思路是提出了一种新的8B LLM模型THaLLE，并使用细调技术在模拟CFA考试中取得了最高的性能。

论文详细记录了用于细调LLM的技术，并介绍了一个用于评估LLM作为金融顾问的公共数据集Flare CFA。实验表明，THaLLE在模拟CFA考试中的表现优于同等规模的模型。

最近的相关研究包括GPT-3、BERT等大型LLM模型在自然语言处理领域的应用，以及在金融领域中使用小型LLM模型进行金融预测的研究。