Set-Encoder: Permutation-Invariant Inter-Passage Attention for Listwise Passage Re-Ranking with Cross-Encoders

Cross-encoder（交叉编码器）是有效的段落重新排序器。但是，在同时重新排序多个段落时，现有的交叉编码器通过优化输出排序来处理多个输入排列，因为它们的段落交互不是置换不变的。此外，它们的高内存占用限制了在列表训练期间的段落数量。为了解决这些问题，我们提出了Set-Encoder（集合编码器），这是一种新的交叉编码器架构，它（1）引入了段间关注和并行段处理，以确保输入段之间的置换不变性，以及（2）使用融合关注内核，以实现一次训练更多的段落。在TREC Deep Learning和TIREx上的实验中，Set-Encoder比具有相似参数数量的先前的交叉编码器更有效。与更大的模型相比，Set-Encoder更有效率，效果相当或更好。

论文旨在解决交叉编码器在对多个段落进行重新排名时的效率和内存问题，提出了一种新的集合编码器架构。

新的集合编码器架构引入了段落间的交互注意力机制和并行处理来确保输入段落之间的置换不变性，并使用融合注意力核来提高训练效率。

实验结果表明，相比于具有类似参数数量的现有交叉编码器，集合编码器更加有效。与更大的模型相比，集合编码器更加高效且效果相当甚至更好。在TREC Deep Learning和TIREx数据集上进行了实验，并提供了开源代码。

最近的相关研究包括《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》和《XLNet: Generalized Autoregressive Pretraining for Language Understanding》等。