Concrete Dense Network for Long-Sequence Time Series Clustering

时间序列聚类在数据分析中是发现时间模式的基础。尽管最近有了很多进展，但是学习适合聚类的表示仍然具有挑战性，特别是对于长而复杂的时间序列。深度时间聚类方法一直在尝试将经典的k-means集成到神经网络的端到端训练中，但由于硬聚类分配不可微分，导致产生次优解而不得不退回到代理损失。此外，最先进的循环神经网络中使用的自回归策略容易积累误差并且训练速度慢，而最近的研究发现，由于时间点缺乏语义含义，注意力的置换不变性会丢弃时间顺序并且计算成本高，因此Transformers不太有效。鉴于这些观察结果，我们提出了一种名为LoSTer的新型密集自编码器架构，用于长序列时间序列聚类问题（LSTC），能够通过Gumbel-softmax重新参数化技巧优化k-means目标，并专门设计用于准确和快速聚类长时间序列。对许多基准数据集和两个真实应用程序的大量实验证明了LoSTer相对于最先进的循环神经网络和基于Transformer的深度聚类方法的有效性。

本论文旨在解决时间序列聚类中学习簇友好表示仍然具有挑战性的问题，尤其是对于长且复杂的时间序列。同时，该论文也试图解决当前深度学习方法在时间序列聚类中的一些问题，例如误差积累和训练缓慢等。

该论文提出了一种名为LoSTer的新型密集自编码器架构，可以通过Gumbel-softmax重新参数化技巧来优化k-means目标，并专门设计用于准确和快速聚类长时间序列。

该论文通过大量的实验验证了LoSTer相对于现有的RNN和Transformer-based深度聚类方法的有效性，并在多个基准数据集和两个真实应用程序上进行了测试。此外，该论文还开源了代码。

在这个领域中，最近的相关研究包括：“Deep Embedded Clustering”、“Time Series Clustering via Community Detection in Networks”和“Time Series Clustering Using Unsupervised Feature Learning”。