PatentGPT: A Large Language Model for Intellectual Property

近年来，由于大型语言模型（LLMs）在多种自然语言处理任务中表现出色并被广泛应用于各个领域，因此受到了广泛关注。然而，由于知识专业化、隐私保护和处理极长文本在知识产权（IP）领域的强烈需求，大型语言模型在该领域的应用具有挑战性。在这份技术报告中，我们首次提出了一种低成本、标准化的程序来训练面向IP的LLMs，以满足IP领域的独特需求。使用这个标准过程，我们基于开源预训练模型训练了PatentGPT系列模型。通过在开源IP基准MOZIP上的评估，我们的领域特定LLMs表现优于GPT-4，表明了所提出的训练程序的有效性以及PatentGPT模型在IP领域的专业知识。值得注意的是，我们的模型在2019年中国专利代理人资格考试中超过了GPT-4，得分为65分，与人类专家水平相当。此外，采用SMoE架构的PatentGPT模型在IP领域实现了与GPT-4相当的性能，并在长文本任务上展现出更好的性价比，可能成为IP领域GPT-4的替代方案。

训练知识产权领域的大型语言模型（LLMs）是具有挑战性的，因为需要专业知识、隐私保护和处理极长的文本。本文提出了一种低成本、标准化的训练程序，旨在满足知识产权领域的独特需求。

通过使用开源预训练模型，本文提出了一种标准化的训练程序，成功地训练了专门针对知识产权领域的LLMs，其性能优于GPT-4。此外，使用SMoE结构的PatentGPT模型在长文本任务上具有更好的性价比，并有望成为知识产权领域内GPT-4的替代品。

本文提出的训练程序成功地训练了专门针对知识产权领域的LLMs，其性能优于GPT-4。PatentGPT模型在2019年中国专利代理人资格考试中获得了65分，达到了人类专家的水平。使用SMoE结构的PatentGPT模型在长文本任务上具有更好的性价比，并有望成为知识产权领域内GPT-4的替代品。

最近的相关研究包括：1.《GPT-4：一种基于Transformer的大型语言模型》；2.《使用BERT进行专利领域的问答匹配》；3.《基于知识图谱的专利领域实体识别和关系抽取》等。