Leveraging Large Language Models for Relevance Judgments in Legal Case Retrieval

收集与法律案件检索相关的判例是一项具有挑战性和耗时的任务。准确判断两个法律案件之间的相关性需要大量阅读冗长的文本以及高水平的领域专业知识来提取法律事实并做出司法判断。随着先进的大型语言模型的出现，一些最新的研究表明使用LLMs进行相关性判断是有前途的。然而，使用通用的大型语言模型进行可靠的法律案件检索相关性判断的方法尚未得到深入探讨。为了填补这一研究空白，我们设计了一种新颖的针对法律案件相关判断的few-shot工作流程。所提出的工作流程将注释过程分解为一系列阶段，模仿人类注释者所采用的过程，并使专家推理灵活集成以增强相关性判断的准确性。通过比较LLMs和人类专家的相关性判断，我们经验证明，使用所提出的工作流程可以获得可靠的相关性判断。此外，我们还展示了通过合成大型语言模型生成的数据来增强现有的法律案件检索模型的能力。

本论文旨在探索利用大型语言模型进行法律案例检索中的相关性判断，并提出了一种新的少样本学习流程。

该论文提出的少样本学习流程可以模仿人类标注者的过程，通过专家推理来提高相关性判断的准确性。通过比较大型语言模型和人类专家的相关性判断，证明了该流程可以获得可靠的相关性判断。

论文使用了大量的法律案例数据集，并通过实验验证了少样本学习流程的有效性。此外，该论文还展示了如何通过大型语言模型生成数据来增强现有的法律案例检索模型。

在最近的相关研究中，也有学者尝试使用大型语言模型进行法律案例检索中的相关性判断，例如《Legal-BERT: The Muppets straight out of Law School》和《The Promise and Perils of Using Machine Learning for Legal Judgments》。