TaxoLLaMA: WordNet-based Model for Solving Multiple Lexical Sematic Tasks

本文探讨了LLMs在从WordNet中获取词汇-语义知识方面的能力，以LLaMA-2-7b模型为例，并在多个词汇-语义任务上进行了测试。作为我们实验的结果，我们提出了TaxoLLaMA，这是一个全能型模型，由于4位量化和LoRA而轻巧。它在16个任务中实现了11个SotA结果，4个前2名结果，包括分类法丰富化、上位词发现、分类法构建和词汇蕴涵等任务。此外，它在没有微调的情况下展示了非常强的零样本性能，特别是在词汇蕴涵和分类法构建方面。我们还探讨了它的隐藏多语言和领域自适应能力，只需进行少量调整或少量学习即可。所有数据集、代码和模型都可以在https://github.com/VityaVitalich/TaxoLLaMA上在线获取。

本论文旨在探讨LLMs在WordNet中捕捉词汇-语义知识的能力，并在多个词汇-语义任务上进行测试。

通过LLaMA-2-7b模型，本文提出了TaxoLLaMA模型，该模型采用4位量化和LoRA技术，具有轻量级特点，能够在词汇分类、上位词发现、分类体系构建和词汇蕴含任务中实现11个SotA结果和4个前2个结果。

本文的实验设计充分，使用了多个数据集，并提供了开源代码和模型。此外，本文还探讨了其隐藏的多语言和领域自适应能力，可通过少量调整或少量学习进行。

最近在这个领域中，还有一些相关的研究，例如《Improving Hypernymy Detection with an Integrated Path-based and Distributional Method》和《Learning to Propagate for Graph-based Few-shot Learning》。