Align-to-Distill: Trainable Attention Alignment for Knowledge Distillation in Neural Machine Translation

可扩展的深度模型和大型数据集的出现已经提高了神经机器翻译的性能。知识蒸馏（KD）通过将知识从教师模型传递到更紧凑的学生模型来提高效率。然而，Transformer架构的KD方法通常依赖于启发式方法，特别是在决定从哪个教师层进行蒸馏时。本文介绍了“Align-to-Distill”（A2D）策略，旨在通过在训练期间自适应地将学生注意力头与其教师对应物对齐来解决特征映射问题。A2D中的注意力对齐模块在层间执行密集的头对头比较，将组合映射启发式方法转化为学习问题。我们的实验表明A2D的有效性，相比Transformer基线，在WMT-2022 De->Dsb和WMT-2014 En->De上分别获得了高达+3.61和+0.63 BLEU分数的增益。

本文旨在解决Transformer架构中的知识蒸馏问题，尤其是在决定从哪些教师层进行蒸馏时，常常依赖于启发式方法。作者提出了一种名为“Align-to-Distill”的策略，通过自适应地将学生注意力头与其教师对应物对齐，解决了特征映射问题。

本文的关键思路是使用Attention Alignment Module在学生和教师的注意力头之间进行密集的头对头比较，将组合映射启发式方法转化为学习问题。

本文实验结果表明，与Transformer基线相比，A2D策略在WMT-2022 De->Dsb和WMT-2014 En->De数据集上分别获得了+3.61和+0.63 BLEU分数的提高。此外，本文的方法不仅有效，而且具有可扩展性和灵活性。

在这个领域的相关研究包括知识蒸馏、Transformer架构的改进和注意力机制的优化。例如，有一些论文专注于改进知识蒸馏的方法，如“Distilling Task-Specific Knowledge from BERT into Simple Neural Networks”和“TinyBERT: Distilling BERT for Natural Language Understanding”。