AI助理在法律分析中的应用：一项实证研究

AI Assistance in Legal Analysis: An Empirical Study

J H. Choi, D Schwarcz
[University of Minnesota Law School]

进行了一个实验，测试AI辅助对法学生考试成绩的影响，他们招募学生进行第二轮考试，在考试中可以使用GPT-4。
在选择题中，AI辅助明显提高了表现 - 使用GPT-4的学生的成绩提高了29个百分点，但在论述题中，AI辅助平均而言没有效果。
然而，AI的影响取决于学生的技能水平。成绩最低的学生从AI中获得了巨大的提升(比原来高45个百分点)，而成绩最好的学生出现了下降(低20个百分点)。
本文还单独测试了GPT-4，使用不同的提示技术。使用基本提示时，它的表现像一个平庸的学生。但使用最佳提示，即使用相关材料，GPT-4的表现优于平均学生，也优于使用AI辅助的平均学生。
AI可能起到均衡作用，更多地帮助较弱的学生。但它在复杂的法律推理如论述题中可能帮助不大，事实上，在最佳提示下，AI单独使用时可以优于人类，这表明在基本的法律任务中AI可能完全取代人类。

动机：探讨人工智能在法律分析中的辅助作用，以及其对法律专业的潜在影响。
方法：通过进行实验，将使用ChatGPT-4人工智能模型的学生与不使用该模型的学生进行比较，来评估人工智能对法律推理的增强效果。
优势：研究发现，人工智能对于简单的多项选择题有显著的增强效果，但对于复杂的论述题则没有明显的提升。此外，人工智能的影响程度还受到学生起始技能水平的影响，成绩较差的学生在使用人工智能辅助后获得了巨大的提升，而成绩较好的学生则出现了下降。这表明人工智能可能对法律行业具有均衡化的作用，减少精英律师和非精英律师之间的不平等。此外，研究还发现，在使用不同的提示方式时，人工智能的表现存在较大差异。这一发现对于未来的工作方式具有重要的启示，暗示在某些任务中完全移除人类可能变得有利。

通过实验证明，人工智能在法律分析中可以对简单题目进行增强，但对于复杂题目的增强效果有限。此外，人工智能的影响与学生的起始技能水平相关，可能对法律行业产生均衡化的作用。

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4539836

内容中包含的图片若涉及版权问题，请及时与我们联系删除

AI助理在法律分析中的应用：一项实证研究

评论