Beyond Scaling: Predicting Patent Approval with Domain-specific Fine-grained Claim Dependency Graph

模型缩放因大型语言模型（LLMs）的成功而成为许多语言任务的默认选择。但在某些情况下，简单的定制方法表现更好。本文深入探讨了专利批准预测任务，并揭示了利用专利数据内在依赖关系的简单领域特定图方法优于扩大模型。具体而言，我们首先扩展了基于嵌入的最先进技术（SOTA），通过使用各种开源LLMs的不同大小来扩展其骨干模型，然后探索基于提示的方法来利用专有LLMs的潜力，但发现最佳结果接近随机猜测，强调了模型扩大的无效性。因此，我们提出了一种新颖的Fine-grained cLAim depeNdency（FLAN）图，通过对专利数据进行细致的分析，捕捉专利文本各个部分之间的固有依赖关系。由于它是模型无关的，我们将经济实惠的图模型应用于我们的FLAN图，以获得批准预测的表示形式。广泛的实验和详细的分析证明，通过各种图模型将FLAN图结合起来，始终显著优于所有LLM基线。我们希望本文中的观察和分析可以引起更多人对这项具有挑战性的任务的关注，并促进对LLMs限制的进一步研究。我们的源代码和数据集可以从http://github.com/ShangDataLab/FLAN-Graph获取。

本论文旨在解决专利批准预测任务，揭示了简单的领域特定图方法在这个任务上的优越性，相比于扩大模型规模的方法。同时，论文试图探讨大型语言模型的局限性。

论文提出了一种基于领域特定图的Fine-grained cLAim depeNdency (FLAN) Graph方法，通过捕捉专利文本中各个部分之间的内在依赖关系，结合各种图模型来获得表示以进行批准预测。

论文通过实验验证了FLAN Graph方法的有效性，相较于大型语言模型的baseline有着显著的提升。论文开源了数据集和代码，供其他研究者使用。此外，论文还揭示了在某些场景下，简单的定制方法可能会优于模型扩大规模的方法。

近期的相关研究主要集中在大型语言模型的应用和优化上，如GPT、BERT等。