Time-MMD: A New Multi-Domain Multimodal Dataset for Time Series Analysis

时间序列数据普遍存在于各种现实世界的领域中。虽然真实世界的时间序列分析(TSA)需要人类专家将数字序列数据与多模态领域特定知识相结合，但大多数现有的TSA模型仅依赖于数字数据，忽略了数字序列之外信息的重要性。这种疏忽是由于文本序列数据的未开发潜力和缺乏全面、高质量的多模态数据集。为了克服这一障碍，我们介绍了Time-MMD，这是第一个涵盖9个主要数据领域的多领域、多模态时间序列数据集。Time-MMD确保了细粒度的模态对齐，消除了数据污染，并提供了高可用性。此外，我们开发了MM-TSFlib，这是第一个无缝地将基于Time-MMD的多模态TSF评估进行管道处理的多模态时间序列预测(TSF)库，以进行深入分析。通过MM-TSFlib在Time-MMD上进行的广泛实验表明，通过将单模态TSF扩展到多模态，可以显著提高性能，一般情况下均方误差降低超过15%，在具有丰富文本数据的领域中高达40%。更重要的是，我们的数据集和库革新了更广泛的应用、影响和研究主题，以推进TSA。数据集和库可在https://github.com/AdityaLab/Time-MMD和https://github.com/AdityaLab/MM-TSFlib上获得。

论文旨在解决时间序列分析中忽视文本序列数据的问题，提出了第一个多领域、多模态的时间序列数据集Time-MMD和第一个多模态时间序列预测库MM-TSFlib，以提高时间序列分析的性能和可用性。

论文的关键思路是整合文本序列数据和数值序列数据，提出了一种新的多模态时间序列分析和预测方法。Time-MMD数据集确保了精细的模态对齐，消除了数据污染，提供了高可用性。

论文提出的Time-MMD数据集和MM-TSFlib库为时间序列分析和预测提供了新的思路和工具。实验结果表明，多模态时间序列预测可以显著提高性能，尤其是在文本数据丰富的领域。数据集和库已经在GitHub上开源。

最近的相关研究包括多模态学习和时间序列预测。其中一些论文是：“Multimodal Time Series Forecasting with Hierarchical Attention Networks”和“Multimodal Time Series Forecasting with Neural Networks”。