PatentGPT: A Large Language Model for Intellectual Property

近年来，由于大型语言模型在多种自然语言处理任务中表现出色并被广泛应用于各个领域，因此受到了广泛关注。然而，在知识产权（IP）领域应用大型语言模型具有挑战性，因为该领域需要专业知识、隐私保护以及处理极长的文本。在本技术报告中，我们首次提出了一种低成本、标准化的程序，用于训练符合知识产权领域独特要求的面向IP的语言模型（LLMs）。使用这个标准化过程，我们基于开源预训练模型训练了PatentGPT系列模型。通过在开源IP基准测试MOZIP上的评估，我们的面向领域的LLMs表现优于GPT-4，表明了所提出的训练过程的有效性和PatentGPT模型在IP领域的专业知识。令人印象深刻的是，我们的模型在2019年中国专利代理人资格考试中获得了65分的成绩，达到了人类专家的水平，显著优于GPT-4。此外，采用SMoE架构的PatentGPT模型在IP领域的性能与GPT-4相当，并在长文本任务上展现出更好的性价比，有可能成为IP领域中GPT-4的替代选择。

如何在知识产权领域应用大型语言模型，解决专业知识需求、隐私保护、处理长文本等挑战？

提出一种低成本、标准化的知识产权领域大型语言模型训练方法，使用开源预训练模型训练PatentGPT系列模型，采用SMoE架构，取得了较好的性能和成本效益。

PatentGPT模型在MOZIP基准测试中表现优于GPT-4，同时在2019年中国专利代理人资格考试中获得65分，达到人类专家水平。实验使用了开源数据集，提供了开源代码。

最近相关研究包括GPT-4、各种领域的预训练模型以及知识图谱等。