Utilizing BERT for Information Retrieval: Survey, Applications, Resources, and Challenges

近年来，深度学习在解决各种自然语言处理（NLP）问题方面得到了显著增长。早期的深度学习模型受其顺序或单向性的限制，因此难以捕捉文本输入之间的上下文关系。引入双向编码器表示转换器（BERT）为转换器模型提供了强大的编码器，可以理解更广泛的上下文并在各种NLP任务中提供最先进的性能。这激发了研究人员和实践者将BERT应用于实际问题，例如信息检索（IR）。因此，关注应用预训练的转换器编码器（如BERT）到IR的流行方法的全面分析的调查对学术界和工业界都有用。在这项调查中，我们重新审视了各种基于BERT的方法，涵盖了广泛的IR技术，并将它们分为六个高级类别：（i）处理长文档，（ii）集成语义信息，（iii）平衡效果和效率，（iv）预测术语权重，（v）查询扩展和（vi）文档扩展。我们还提供了指向BERT基础IR系统的资源链接，包括数据集和工具包。我们调查的一个关键亮点是BERT的基于编码器的模型与最新的生成式大型语言模型（LLM）（例如ChatGPT）之间的比较，后者依赖解码器。尽管LLM很受欢迎，但我们发现对于特定任务，经过精细调整的BERT编码器仍然表现优异，并且部署成本更低。最后，我们总结了调查的全面结果，并提出了未来研究的方向。

应用BERT解决信息检索中的问题

使用BERT的encoder-based模型在特定任务上表现优于最新的generative Large Language Models，如ChatGPT，并且部署成本更低

介绍了使用BERT解决信息检索问题的六种高级方法，包括处理长文档、集成语义信息、平衡效率与效果、预测术语权重、查询扩展和文档扩展。提供了数据集和工具包等资源链接。

最新的generative Large Language Models，如ChatGPT