PromptDSI: Prompt-based Rehearsal-free Instance-wise Incremental Learning for Document Retrieval

Differentiable Search Index（DSI）利用预训练语言模型（PLMs）进行高效的文档检索，而不依赖于外部索引。然而，DSI需要完全重新训练才能处理动态语料库中的更新，导致显着的计算效率低下。我们介绍了PromptDSI，一种基于提示的无排练逐实例增量学习方法，用于文档检索。PromptDSI将提示附加到DSI的冻结PLM编码器上，利用其强大的表示来高效地索引新语料库，同时保持稳定性和可塑性之间的平衡。我们消除了提示式连续学习方法的初始前向传递，这会使训练和推断时间加倍。此外，我们提出了一个主题感知提示池，它使用神经主题嵌入作为固定键。这种策略确保了多样化和有效的提示使用，解决了查询-键匹配机制崩溃引起的参数未充分利用的挑战。我们的实证评估表明，PromptDSI在管理遗忘方面与IncDSI相匹配，同时在新语料库上显着提高了4％以上的召回率。

该论文旨在解决Differentiable Search Index（DSI）需要进行完整重新训练以处理动态语料库更新的问题，导致计算效率低下的问题。

PromptDSI是一种基于提示的增量学习方法，用于文档检索，可以在不进行全面重新训练的情况下高效地索引新的语料库。

PromptDSI采用了一种无需重复前向传递的增量学习方法，提出了一种基于话题的提示池，使用神经话题嵌入作为固定键，以确保多样化和有效的提示使用，并在新语料库上显著提高了召回率超过4%。

最近在这个领域中，还有一些相关的研究，例如Incremental Differentiable Search和Continual Learning for Natural Language Processing等。