Enhancing Legal Document Retrieval: A Multi-Phase Approach with Large Language Models

大规模语言模型，如GPT-3.5、GPT-4和LLaMA，参数达数十亿，正变得越来越普遍。许多研究探索了有效的提示技术，以利用这些LLM的强大功能解决各种研究问题。在法律数据领域，特别是检索方面，由于法律文章数量众多且长度相当，因此直接应用提示技术是一项具有挑战性的任务。本研究着重于将提示技术最大化，将其作为检索系统的最后阶段，先由两个阶段支持：BM25预排序和基于BERT的重新排序。在COLIEE 2023数据集上的实验表明，将LLM上的提示技术整合到检索系统中，可以显著提高检索准确性。然而，错误分析揭示了检索系统中仍存在一些需要解决的问题。

本论文旨在探索如何利用大型语言模型中的提示技术，提高法律数据检索的准确性。

论文提出了一个三阶段的检索系统，利用BM25预排名和基于BERT的重新排名来支持提示技术的最终阶段。实验结果表明，这种方法显著提高了检索准确性。

论文使用COLIEE 2023数据集进行实验，并开源了代码。同时，通过误差分析，发现仍存在一些需要解决的问题。

最近的相关研究包括《Legal-BERT: A Pre-trained Language Model for the Legal Domain》和《A Survey of Text Similarity Approaches》等。