Modal-adaptive Knowledge-enhanced Graph-based Financial Prediction from Monetary Policy Conference Calls with LLM

金融预测是一项新的、具有挑战性的任务，旨在通过分析包括文本、视频和音频在内的多模态信息，预测特定金融资产的价格走势和波动性。虽然现有的工作已经通过使用跨模态转换器块取得了巨大成功，但它忽略了潜在的外部金融知识、不同模态对金融预测的不同贡献以及不同金融资产之间的内在关系。为了解决这些限制，我们提出了一种新颖的模态自适应知识增强图形金融预测方案，名为MANAGER。具体来说，MANAGER利用FinDKG获取输入文本的外部相关知识。同时，MANAGER采用BEiT-3和Hidden-unit BERT（HuBERT）分别提取视频和音频特征。然后，MANAGER引入了一种新颖的知识增强跨模态图，充分描述了文本、外部知识、视频和音频之间的语义关系，以自适应地利用不同模态的信息，其中ChatGLM2是骨干。在一个公开可用的数据集Monopoly上进行的大量实验验证了我们的模型优于最先进的方法。

本论文旨在解决金融预测中多模态信息分析的问题，包括文本、视频和音频等信息的分析，以及外部金融知识和不同模态的贡献度等问题。

论文提出了一种名为MANAGER的金融预测方案，利用FinDKG获取文本的外部相关知识，利用BEiT-3和HuBERT提取视频和音频特征，然后引入一种新颖的知识增强的跨模态图，以全面表征文本、外部知识、视频和音频之间的语义关系，以自适应地利用不同模态的信息。

论文在公开数据集Monopoly上进行了广泛的实验，证明了MANAGER模型在金融预测方面的优越性。此外，论文还开源了代码。

近期的相关研究包括：1. Cross-Modal Transformer-based Financial Prediction with Graph Attention Networks；2. Multimodal Financial Time Series Prediction with Graph Convolutional Networks；3. Hierarchical Graph Attention Network for Stock Movement Prediction from Financial News。