CLERC: A Dataset for Legal Case Retrieval and Retrieval-Augmented Analysis Generation

法律专业人士需要撰写依赖于相关先例（即之前的案例决策）引用的分析报告。协助法律专业人士编写此类文件的智能系统具有巨大的优势，但设计这样的系统是具有挑战性的。这样的系统需要帮助查找、总结和推理重要的先例，以便有用。为了使系统能够执行这些任务，我们与法律专业人士合作，将一个大型开源法律语料库转化为支持两个重要的基础任务的数据集：信息检索（IR）和检索增强生成（RAG）。这个数据集CLERC（Case Law Evaluation Retrieval Corpus）被构建用于训练和评估模型的能力，以（1）找到给定法律分析的相应引用和（2）编译这些引用的文本（以及之前的上下文）成为一个支持推理目标的连贯分析。我们在CLERC上对最先进的模型进行基准测试，结果显示目前的方法仍然存在困难：GPT-4o生成的分析具有最高的ROUGE F分数，但是虚构最多，而零-shot IR模型只能实现48.3％的1000个召回率。

本文旨在构建一个数据集CLERC，用于训练和评估模型对先例进行信息检索和生成分析的能力。当前的智能系统在这方面仍存在挑战，需要能够定位、总结和推理相关先例。

本文构建了一个大型的开源法律语料库CLERC，用于训练和评估模型的信息检索和检索增强生成能力。通过对当前最先进模型在CLERC上的基准测试，发现现有方法仍存在困难，GPT-4o生成的分析具有最高的ROUGE F-scores，但是存在幻觉，而零-shot IR模型只能达到48.3%的召回率@1000。

本文的亮点包括构建了一个大型的开源法律语料库CLERC，用于训练和评估模型的信息检索和检索增强生成能力；基于CLERC数据集对当前最先进模型进行了基准测试，发现现有方法仍存在困难；本文提出的方法可以为法律领域的智能系统提供帮助。

在这个领域中，最近还有一些相关研究，如《A Comprehensive Study of Deep Learning for Text Summarization》、《Legal Judgment Prediction via Multi-Task Neural Networks with Input Attention》等。