IPEval: A Bilingual Intellectual Property Agency Consultation Evaluation Benchmark for Large Language Models

大型语言模型（LLMs）在知识产权（IP）等垂直领域的快速发展缺乏特定的评估基准，以评估它们的理解、应用和推理能力。为填补这一空白，我们介绍了IPEval，这是第一个专为IP机构和咨询任务量身定制的评估基准。IPEval包括2657个多项选择题，涵盖了IP的创造、应用、保护和管理等四个主要维度。这些问题涉及专利权（发明、实用新型、外观设计）、商标、版权、商业秘密和其他相关法律。评估方法包括零样本、5个样本和CoT（思维链）等七种LLM类型，主要使用英语或中文。结果显示，像GPT系列和Qwen系列这样的模型在英语测试中表现优异，而以中文为中心的LLMs则在中文测试中表现出色，尽管专门的IP LLMs落后于通用型模型。IP的区域和时间方面强调了LLMs掌握法律细节和不断发展的法律的必要性。IPEval旨在准确评估LLMs在IP方面的能力，并促进专门模型的发展。网站：\url{https://ipeval.github.io/}

这篇论文试图解决评估垂直领域中大型语言模型（LLMs）在知识产权（IP）任务中的理解、应用和推理能力的问题，提出了第一个专门针对IP机构和咨询任务的评估基准IPEval。

IPEval基准包括2657个涵盖专利权（发明、实用新型、外观设计）、商标、版权、商业秘密和其他相关法律的多项选择题，涵盖创造、应用、保护和管理IP的四个主要维度。评估方法包括零样本、5个样本和CoT方法，针对七种LLM类型，主要使用英语或中文。结果显示，GPT系列和Qwen系列等模型在英文测试中表现出色，而以中文为中心的LLMs在中文测试中表现优异，尽管专门的IP LLMs落后于通用型LLMs。

该论文的亮点包括提出了第一个专门针对IP机构和咨询任务的评估基准IPEval，使用了多项选择题和多种评估方法，展示了LLMs在IP任务中的表现，结果表明LLMs需要掌握法律细节和不断发展的法律，并鼓励开发专门的模型。

最近的相关研究包括《DALL-E: Creating Images from Text》、《GPT-3: Language Models are Few-Shot Learners》等。