简介:最近深度预训练语言模型的快速发展和大型数据集的引入推动了基于嵌入的密集检索的研究。作者介绍了Tevatron,这是一种针对效率、灵活性和代码简单性进行了优化的密集检索工具包。Tevatron为密集检索提供了一个标准化的管道,包括文本处理、模型训练、语料库/查询编码和搜索。本文概述了Tevatron,并展示了它在多个IR和QA数据集上的有效性和效率。作者还展示了Tevatron的灵活设计如何实现跨数据集、模型架构和加速器平台 (GPU/TPU) 的轻松泛化。作者相信Tevatron可以作为密集检索系统研究(包括设计、建模和优化)的有效软件基础。
论文下载:https://arxiv.org/pdf/2203.05765
内容中包含的图片若涉及版权问题,请及时与我们联系删除
举报类型(必选)
举报详情(选填)
0/200
沙发等你来抢
评论
沙发等你来抢