Fine-Tuning Large Language Models for Stock Return Prediction Using Newsflow

本文探讨了使用金融新闻流进行细调语言模型（LLMs）进行股票收益预测的方法。在量化投资中，收益预测是后续任务（如股票选择、投资组合优化等）的基础。我们将模型制定为包括文本表示和预测模块。我们建议比较仅编码器和仅解码器的LLMs，考虑到它们以不同的方式生成文本表示。这些不同表示对预测性能的影响仍是一个悬而未决的问题。同时，我们比较了两种将LLMs的标记级表示集成到预测模块中的简单方法。在实际新闻和投资领域的实验表明：（1）来自LLMs标记级嵌入的聚合表示通常产生增强长期和多头组合表现的收益预测；（2）在相对较大的投资领域中，基于解码器LLMs的预测模型导致更强的组合，而在小型领域中则没有一致的赢家。在三个研究的LLMs中（DeBERTa、Mistral、Llama），Mistral在不同领域中表现更加稳健；（3）从LLMs的文本表示中得出的收益预测是构建投资组合的强有力信号，优于传统情感分数。

本论文旨在探讨使用金融新闻流进行股票收益预测的问题。在量化投资中，收益预测对于后续任务如股票选取、组合优化等至关重要。

论文提出了将文本表示和预测模块结合起来的模型。同时，比较了仅编码器和仅解码器两种LLMs生成文本表示的方法对预测表现的影响，并比较了两种将LLMs的标记级表示集成到预测模块中的简单方法。

实验使用了真实的新闻和投资数据集，发现LLMs的标记级嵌入的聚合表示通常能够提高长仓和多空组合的表现；在相对较大的投资数据集中，基于解码器的LLMs预测模型能够产生更强的组合表现，而在小数据集中则没有一致的优胜者。此外，LLMs的文本表示导出的收益预测是组合构建的强信号，优于传统情感分数。

近期在该领域的相关研究包括：《A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem》、《Enhancing Stock Movement Prediction with Adversarial Training》等。