Wikiformer: Pre-training with Structured Information of Wikipedia for Ad-hoc Retrieval

随着深度学习和自然语言处理技术的发展，预训练语言模型已被广泛应用于解决信息检索（IR）问题。通过预训练和微调的范式，这些模型实现了最先进的性能。在以前的工作中，维基百科中的纯文本已经被广泛用于预训练阶段。然而，维基百科中丰富的结构化信息，如标题、摘要、分层标题（多级标题）结构、文章之间的关系、参考文献、超链接结构和写作组织等，尚未得到充分的探索。在本文中，我们设计了四个针对IR任务的预训练目标，基于维基百科的结构化知识。与现有的预训练方法相比，我们的方法可以通过利用来自维基百科的人工编辑的结构化数据更好地捕捉训练语料库中的语义知识。在多个IR基准数据集上的实验结果表明，与现有的强检索基线相比，我们的模型在零-shot和微调设置中都表现出更优异的性能。此外，生物医学和法律领域的实验结果表明，与以前的模型相比，我们的方法在垂直领域中表现更好，特别是在需要长文本相似性匹配的情况下。

本文致力于利用维基百科的结构化信息，提出四个针对信息检索任务的预训练目标，以更好地捕捉语义知识，提高信息检索模型的性能。

本文的关键思路是利用维基百科的结构化信息，提出四个针对信息检索任务的预训练目标，以更好地捕捉语义知识，并在多个信息检索基准数据集上展示了该方法的优越性。

本文的实验结果表明，与现有的信息检索模型相比，本文提出的方法在零样本和微调设置下均表现出更好的性能。此外，本文还在生物医学和法律领域进行了实验，证明该方法在垂直领域中表现出更好的性能。

最近的相关研究包括使用维基百科进行预训练的方法，以及其他预训练模型在信息检索任务中的应用。