Foundation Models for Structural Health Monitoring

本文提出了首次使用具有遮盖自编码器架构的Transformer神经网络作为结构健康监测（SHM）的基础模型。我们通过自监督预训练展示了这些模型从多个大型数据集中学习可推广表示的能力，并与特定任务的微调相结合，使它们在各种任务中优于最先进的传统方法，包括异常检测（AD）和交通负载估计（TLE）。我们还广泛探讨了模型大小与准确性之间的权衡，并尝试知识蒸馏（KD）以提高较小Transformer的性能，从而使它们直接嵌入SHM边缘节点。我们使用三个运行中的高架桥的数据展示了我们基础模型的有效性。对于AD，我们在仅监测15个时间窗口的情况下实现了接近完美的99.9％准确率。相比之下，基于主成分分析（PCA）的最先进方法仅在考虑120个窗口时获得了第一个良好的结果（95.03％准确率）。在两个不同的TLE任务中，我们的模型在多个评估指标（R$^2$分数，MAE％和MSE％）上获得了最先进的性能。在第一个基准测试中，我们分别为轻型和重型车辆交通实现了0.97和0.85的R$^2$分数，而最佳先前方法仅达到0.91和0.84。在第二个基准测试中，我们实现了0.54的R$^2$分数，而最佳现有方法仅为0.10。

本文旨在利用Transformer神经网络和自监督预训练来解决基础模型在结构健康监测（SHM）中的问题，包括异常检测和交通负荷估计。

本文提出了一种基于Transformer神经网络的Masked Auto-Encoder架构，通过自监督预训练学习多个大型数据集的可泛化表示，并通过特定任务的微调来实现优于传统方法的性能。

本文展示了模型大小与准确性之间的权衡，并尝试使用知识蒸馏来提高较小Transformer的性能，使其嵌入到SHM边缘节点中。实验使用了三个运行中的高架桥的数据，展示了模型在异常检测和交通负荷估计等任务上的表现。

最近的相关研究包括利用深度学习和传统方法进行SHM的研究，例如基于PCA的方法等。