Rough Transformers for Continuous and Efficient Time-Series Modelling

在真实的医疗场景中，时间序列数据通常表现出长程依赖关系，并且在非均匀间隔下进行观察。在这种情况下，传统的基于序列的递归模型很难处理。为了克服这个问题，研究人员用神经ODE模型替换递归结构来对不规则采样的数据进行建模，并使用Transformer结构来考虑长程依赖关系。尽管这两种方法都取得了成功，但对于中等长度及以上的输入序列，它们都需要非常高的计算成本。为了缓解这个问题，我们引入了Rough Transformer，这是Transformer模型的一种变体，它可以在连续时间表示的输入序列上操作，并且具有显著降低的计算成本，这对于处理医疗场景中普遍存在的长程依赖关系至关重要。特别地，我们提出了多视角签名注意力，它使用路径签名来增强基础注意力，并捕捉输入数据中的局部和全局依赖关系，同时对序列长度和采样频率的变化具有鲁棒性。我们发现，相对于基础注意力，Rough Transformer在合成和真实时间序列任务中始终表现出色，同时使用少量的计算时间和内存资源获得了神经ODE模型的优点。

本文试图解决在医疗环境下，处理长时序数据和非均匀采样数据时传统循环神经网络模型的计算成本过高的问题。

本文提出了一种基于路径签名的多视图注意力机制，使用连续时间表示输入序列的Rough Transformer模型，以更低的计算成本解决长时序依赖性问题。

本文的实验结果表明，Rough Transformer模型在合成和真实的时序任务中始终优于基于传统注意力机制的模型，并且在使用少量计算时间和内存资源的同时，获得了神经ODE模型的优势。此外，本文提出的多视图签名注意力机制也是一大亮点。

在此领域的相关研究中，也有一些使用Transformer模型来解决长时序依赖性问题的研究，如《Transformer-XH: Multi-hop Transformers for Long-Sequence Time-Series Forecasting》。