Topological Persistence Guided Knowledge Distillation for Wearable Sensor Data

深度学习方法在将可穿戴传感器数据转换为可操作的健康见解的各种应用中取得了很多成功。常见的应用领域是活动识别，但深度学习方法仍然存在一些限制，例如对信号质量、传感器特性变化和受试者之间的变异性敏感。为了缓解这些问题，建议使用拓扑数据分析(TDA)获得的强健特征作为潜在解决方案。然而，使用拓扑特征在深度学习中存在两个重要障碍：(1)使用TDA提取拓扑特征的大量计算负载，(2)深度学习和TDA获得不同的信号表示，使融合变得困难。为了在时间序列数据的深度学习中实现拓扑方法的优势的整合，本文提出使用两个教师网络，一个训练在原始时间序列数据上，另一个训练在TDA方法生成的持久图像上。精简的学生模型只在测试时利用原始时间序列数据。这种方法解决了这两个问题。使用具有多个教师的知识蒸馏(KD)利用互补信息，产生具有强大监督特征和集成丰富表示的紧凑模型。为了吸收不同模态的理想信息，我们设计了新的约束条件，包括在特征相关图上强制执行正交性以提高特征表达能力，并允许学生轻松地从教师那里学习。此外，我们在KD中应用了一个退火策略，以快速饱和和更好地适应不同的特征，同时减少了教师和学生之间的知识差距。最后，我们蒸馏出一个强健的学生模型，它只使用时间序列数据作为输入，同时隐式地保留拓扑特征。

论文旨在解决深度学习在可穿戴传感器数据分析中的局限性，提出使用拓扑数据分析来提取鲁棒特征，并解决使用拓扑特征与深度学习特征融合的问题。

论文提出使用两个教师网络，一个训练原始时间序列数据，另一个训练由TDA方法生成的持久图像，通过知识蒸馏生成只使用原始时间序列数据的学生模型，同时设计新的约束来提高特征表达能力和容易学习的性质。

论文使用知识蒸馏方法来融合拓扑特征和深度学习特征，提高模型性能。实验表明，该方法提高了模型的鲁棒性和准确性，同时保持了模型的紧凑性。论文还使用了多个数据集进行实验，并提供了开源代码。

在相关研究方面，最近的一些论文包括：'DeepTopo: Reconstruction and Analysis of Topological Features of Deep Neural Networks'，'Learning with Topological Signatures'，'Topological Data Analysis for Time Series and Dynamical Systems'等。