论文题目：
ERNIE-Search: Bridging Cross-Encoder with Dual-Encoder via Self On-the-fly Distillation for Dense Passage Retrieval

论文链接：

http://arxiv.org/abs/2205.09153
本文提出了两个面向稠密检索模型的蒸馏策略：交互蒸馏 (Interaction Disitllation) 和级联蒸馏 (Cascade Distillation)，如果将这两个蒸馏策略结合起来，就得到了该论文标题中提到的名词：动态自蒸馏 (self on-the-fly distillation)。由于是度厂出品，采用该蒸馏策略的训练得到的模型被命名为 ERNIE-Search，ERNIE-Search 在 MARCO 和 NQ 检索数据集上均取得了 SOTA 性能（虽然没出几天就被超越了）。

内容中包含的图片若涉及版权问题，请及时与我们联系删除