近日，谷歌研究院在论文《Transformer Memory as a Differentiable Search Index》中提出了一种替代架构，研究者采用序列到序列 (seq2seq) 学习系统。该研究证明使用单个 Transformer 即可完成信息检索，其中有关语料库的所有信息都编码在模型的参数中。
该研究引入了可微搜索索引（Differentiable Search Index，DSI），这是一种学习文本到文本新范式。DSI 模型将字符串查询直接映射到相关文档；换句话说，DSI 模型只使用自身参数直接回答查询，极大地简化了整个检索过程。
此外，本文还研究了如何表示文档及其标识符的变化、训练过程的变化以及模型和语料库大小之间的相互作用。实验表明，在适当的设计选择下，DSI 明显优于双编码器模型等强大基线，并且 DSI 还具有强大的泛化能力，在零样本设置中优于 BM25 基线。
论文链接：https://arxiv.org/pdf/2202.06991.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除