DKDL-Net: A Lightweight Bearing Fault Detection Model via Decoupled Knowledge Distillation and Low-Rank Adaptation Fine-tuning

滚动轴承故障检测已经在故障诊断技术领域迅速发展，并在该领域占据了非常重要的地位。基于深度学习的轴承故障诊断模型取得了显著的成功。与此同时，随着傅里叶变换、小波变换和经验模态分解等新的信号处理技术的不断改进，滚动轴承的故障诊断技术也得到了极大的发展，可以说它已经进入了一个新的研究阶段。然而，现有方法大多数在工业领域中存在不同程度的限制，主要是快速特征提取和计算复杂度。本文的关键是提出了一种轻量级的轴承故障诊断模型DKDL-Net，以解决这些挑战。该模型通过解耦知识蒸馏和低秩自适应微调，在CWRU数据集上进行训练。具体而言，我们基于一个具有69,626个可训练参数的6层神经网络构建和训练了一个教师模型，在此基础上，使用解耦知识蒸馏（DKD）和低秩自适应（LoRA）微调，我们训练出了仅有6,838个参数的学生模型DKDL-Net。实验表明，DKDL-Net在保持模型性能的同时，在测试集上的计算复杂度达到了99.48\%的准确率，比最先进模型高出0.58\%，而且我们的模型参数更少。我们的代码可在Github链接https://github.com/SPBU-LiPengyi/DKDL-Net.git中获取。

本文旨在解决滚动轴承故障检测中的快速特征提取和计算复杂度等问题，提出了一种轻量级的基于知识蒸馏和低秩自适应微调的滚动轴承故障诊断模型DKDL-Net。

本文提出的DKDL-Net模型通过知识蒸馏和低秩自适应微调的方式，从一个参数较多的教师模型中提取知识，训练出参数较少的学生模型。该模型在CWRU数据集上进行实验，达到了99.48%的准确率，计算复杂度更低，比当前最先进的模型效果更好。

本文提出的DKDL-Net模型在滚动轴承故障检测领域具有较高的实用价值。实验结果表明，该模型具有较高的准确率和较低的计算复杂度。同时，作者还提供了开源代码，方便其他研究者进行复现和进一步的研究。

近期在滚动轴承故障检测领域的相关研究包括：'A Deep Learning Approach for Fault Diagnosis of Rolling Bearings Using Time-Frequency Image Analysis'、'A Novel Deep Learning Framework for Fault Diagnosis of Rolling Bearings'等。