Large Language Model Informed Patent Image Retrieval

在专利审查中，基于图像的检索系统用于识别当前专利图像和先前技术的相似性，以确保专利申请的新颖性和非显而易见性至关重要。尽管这些系统近年来越来越受欢迎，但现有的尝试虽然能够有效地识别同一专利中的图像，但由于其在检索相关先前技术方面的泛化能力有限，因此无法提供实际价值。此外，这个任务固有地涉及到专利图像的抽象视觉特征、图像分类的偏斜分布以及图像描述的语义信息所带来的挑战。因此，我们提出了一种基于语言的、分布感知的多模态专利图像特征学习方法，通过集成大型语言模型丰富专利图像的语义理解，并通过我们提出的分布感知对比损失改进了低频类别的性能。在DeepPatent2数据集上的大量实验表明，我们提出的方法在基于图像的专利检索中实现了最先进或可比的性能，mAP + 53.3％，Recall@10 + 41.8％，MRR@10 + 51.9％。此外，通过深入的用户分析，我们探讨了我们的模型在帮助专利专业人员进行图像检索方面的作用，强调了该模型在现实世界中的适用性和有效性。

提高专利图像检索的准确度和实用性，解决现有方法在检索相关先前专利方面的局限性。

使用基于语言的、分布感知的多模态方法，将大型语言模型与专利图像特征学习相结合，改善专利图像的语义理解和低频类别的性能。

使用DeepPatent2数据集进行了广泛的实验，证明该方法在专利图像检索方面的性能优于现有方法，并且能够实际应用于专利专业人员的工作中。

相关研究包括：1.基于神经网络的图像检索方法；2.使用卷积神经网络进行图像分类；3.使用对比损失进行图像检索。