Guiding Frame-Level CTC Alignments Using Self-knowledge Distillation

这篇论文介绍了一种自我知识蒸馏（SKD）方法，用于解决自动语音识别（ASR）中常见的知识蒸馏（KD）问题。在使用传统的教师-学生模型时，KD会在帧级别对齐上出现不一致的问题，从而阻碍了学生模型的性能提升。为了解决这个问题，本文提出了一种在训练期间指导帧级别对齐的SKD方法。与使用独立的教师和学生模型的传统方法不同，本研究引入了一种简单有效的方法，共享编码器层并将子模型应用为学生模型。总体而言，我们的方法在提高资源效率和性能方面非常有效。我们还进行了一项实验分析，以说明所提出的方法通过减少对齐不一致来提高性能。

论文旨在解决知识蒸馏（KD）在自动语音识别（ASR）中的一个问题，即教师-学生模型在帧级对齐上存在差异，这影响了学生模型的性能提高。

论文提出了一种自我知识蒸馏（SKD）方法，通过在训练期间指导帧级对齐来解决教师-学生模型之间的差异问题。该方法共享编码器层并将子模型应用为学生模型，从而提高了资源效率和性能。

论文通过实验分析尖峰时间，说明了所提出的方法通过减少对齐差异来提高性能。实验使用了连接主义时间分类（CTC）框架和变压器编码器，但是该方法的思路可应用于其他ASR模型。论文的代码已经开源。

最近的相关研究包括使用不同的蒸馏方法以及使用不同的模型结构来提高ASR性能，例如《Sequence-Level Knowledge Distillation for End-to-End Speech Recognition》和《Distilling Knowledge from Ensembles of ASR Systems》。