Evaluating Large Language Models on Time Series Feature Understanding: A Comprehensive Taxonomy and Benchmark

大型语言模型（LLMs）为自动时间序列分析和报告提供了潜力，这是许多领域的关键任务，涵盖医疗保健、金融、气候、能源等众多领域。本文提出了一个框架，以严谨的方式评估LLMs在时间序列理解方面的能力，包括单变量和多变量形式。我们引入了一个全面的时间序列特征分类法，这是一个关键的框架，可以描述时间序列数据中固有的各种特征。利用这个分类法，我们系统地设计和综合了一个多样化的时间序列数据集，体现了不同的特征。这个数据集为评估LLMs在理解时间序列方面的熟练程度奠定了坚实的基础。我们的实验揭示了最先进的LLMs在时间序列理解方面的优点和局限性，揭示了这些模型在哪些特征上能够有效地理解，以及它们在哪些方面出现了问题。此外，我们还揭示了LLMs对数据格式、查询序列中点的位置和整个时间序列长度等因素的敏感性。

本论文旨在提出一个框架，通过对大型语言模型（LLMs）在时间序列理解方面的能力进行严格评估，解决跨多个领域的关键任务。

论文提出了一种全面的时间序列特征分类法，并设计了一个包含各种特征的多样化数据集，用于评估LLMs在时间序列理解方面的能力。通过实验，揭示了LLMs在不同时间序列特征上的表现优势和局限性，以及对数据格式、查询点位置和序列长度等因素的敏感性。

论文的亮点在于提出了全面的时间序列特征分类法，设计了多样化的数据集，用于评估LLMs在时间序列理解方面的能力。实验揭示了LLMs在不同时间序列特征上的表现优势和局限性，以及对数据格式、查询点位置和序列长度等因素的敏感性。

近期相关研究包括：1. "Time Series Classification from Scratch with Deep Neural Networks: A Strong Baseline"; 2. "Deep Learning for Time-Series Analysis"; 3. "A Comprehensive Survey on Time Series Classification Using Deep Learning Techniques"。