Fusing Domain-Specific Content from Large Language Models into Knowledge Graphs for Enhanced Zero Shot Object State Classification

本研究探讨了大型语言模型（LLMs）在通过语义嵌入生成和提供特定领域信息方面的潜力。为了实现这一目标，将LLM集成到一个管道中，该管道利用知识图谱和预训练的语义向量来完成基于视觉的零样本对象状态分类任务。通过广泛的消融研究，我们全面地研究了LLM的行为。我们的研究结果表明，LLM嵌入的集成与通用预训练嵌入相结合，可以显著提高性能。根据这个消融研究的结果，我们进行了与竞争模型的比较分析，从而突出了所提出方法所达到的最先进的性能。因此，特定领域的知识可以显著地贡献于解决各种视觉任务，但生成这种知识需要大量的人力和时间成本。

研究如何利用大型语言模型（LLMs）生成和提供领域特定信息，以解决视觉任务中的零样本对象状态分类问题。

将LLMs集成到使用知识图谱和预训练语义向量的管道中，通过语义嵌入生成领域特定信息，与通用预训练嵌入结合使用，可以显著提高性能。

论文通过广泛的消融研究，深入探讨了LLMs的行为。实验结果表明，LLMs嵌入与通用预训练嵌入相结合，能够显著提高性能。论文提出的方法在竞争模型中表现出最先进的性能。

最近的相关研究包括：1.《Zero-shot Learning - A Comprehensive Evaluation of the Good, the Bad and the Ugly》2.《Zero-Shot Learning - A Survey》3.《Learning to Learn from Noisy Labeled Data》