PATE: Proximity-Aware Time series anomaly Evaluation

评估时间序列数据中的异常检测算法至关重要，因为不准确的结果可能导致在需要实时分析和数据驱动策略的各个领域中做出错误决策。传统的性能指标假定数据是iid的，无法捕捉时间序列异常的复杂时间动态和特定特征，例如早期和延迟检测。我们引入了一种新的评估指标Proximity-Aware Time series anomaly Evaluation（PATE），它考虑了预测和异常间隔之间的时间关系。PATE使用基于接近度的加权，考虑了异常间隔周围的缓冲区，从而实现更详细和明智的检测评估。利用这些权重，PATE计算了精确度和召回率曲线下面积的加权版本。我们使用合成和真实世界的数据集进行实验，结果表明PATE比其他评估指标提供了更明智和准确的评估。我们还使用PATE评估方案在各种基准数据集上测试了几种最先进的异常检测器。结果表明，像点调整F1分数这样的常见指标无法很好地描述检测性能，而PATE能够提供更公平的模型比较。通过引入PATE，我们重新定义了模型效力的理解，从而引导未来的研究开发更有效和准确的检测模型。

评估时间序列数据中的异常检测算法，解决传统性能指标在时间序列异常检测中的不足问题。

提出了一种新的评估指标PATE，考虑了预测和异常区间之间的时间关系，使用基于邻近度的加权方式计算Precision和Recall曲线下的面积，从而更准确地评估异常检测算法的性能。

论文使用合成数据和真实世界数据进行了实验，结果表明PATE评估指标比其他指标更准确。论文还测试了多种最先进的异常检测算法，结果表明常用的Point-Adjusted F1 Score无法很好地评估算法性能，而PATE能够提供更公平的模型比较。

近年来，还有一些相关研究，例如《A survey of time series anomaly detection》、《Deep learning for time-series analysis》等。