CLERC: A Dataset for Legal Case Retrieval and Retrieval-Augmented Analysis Generation

法律专业人士需要撰写依赖于相关先例（即以往的案例判决）引用的分析报告。协助法律专业人士撰写此类文件的智能系统具有巨大的益处，但设计此类系统具有挑战性。这些系统需要帮助定位、总结和推理相关的先例，以便有用。为了实现这样的任务，我们与法律专业人士合作，将一个大型开源法律语料库转化为支持两个重要的基础任务的数据集：信息检索（IR）和检索增强生成（RAG）。这个数据集CLERC（Case Law Evaluation Retrieval Corpus）是为了训练和评估模型在以下两个方面的能力而构建的：（1）找到给定法律分析的相应引文；（2）编译这些引文的文本（以及先前的背景）成为支持推理目标的连贯分析。我们在CLERC上对最先进的模型进行了基准测试，结果显示当前的方法仍然存在困难：GPT-4o生成的分析具有最高的ROUGE F分数，但是幻觉最多，而零-shot IR模型只能达到48.3%的1000个召回率。

如何设计一个智能系统，帮助法律专业人士在写作中定位、总结和推理相关案例先例，以提高写作效率和质量？

使用一个大型的开源法律语料库构建数据集CLERC，支持信息检索和检索增强生成两个主要任务，以训练和评估模型的能力，即找到给定法律分析的相应引文，并将这些引文（以及先前的上下文）编译成支持推理目标的连贯分析。

使用CLERC数据集对当前最先进的模型进行基准测试，结果表明，当前方法仍然存在困难：GPT-4o生成的分析具有最高的ROUGE F分数，但是产生了最多的幻觉，而零样本IR模型仅实现了48.3％的召回率@1000。

相关研究包括但不限于：1.《A Review of Natural Language Processing Techniques for Opinion Mining Systems》 2.《A Survey of Natural Language Generation Techniques with a Focus on Dialogue Systems》