Comparative Study of Domain Driven Terms Extraction Using Large Language Models

关键词在连接人类理解和机器处理文本数据之间发挥着至关重要的作用。它们对于数据丰富至关重要，因为它们是提供更深入和全面的基础注释的基础。关键词/领域驱动的术语提取是自然语言处理中的一个关键任务，有助于信息检索、文档摘要和内容分类。本文重点介绍关键词提取方法，强调使用三个主要的大型语言模型（LLMs）：Llama2-7B、GPT-3.5和Falcon-7B。我们使用自定义的Python包与这些LLMs进行接口，简化了关键词提取。我们的研究利用Inspec和PubMed数据集评估了这些模型的性能。使用Jaccard相似性指数进行评估，GPT-3.5的得分为0.64（Inspec）和0.21（PubMed），Llama2-7B的得分为0.40和0.17，Falcon-7B的得分为0.23和0.12。本文强调了在LLMs中进行提示工程对于更好的关键词提取的作用，并讨论了LLMs中幻觉对结果评估的影响。它还揭示了使用LLMs进行关键词提取的挑战，包括模型复杂性、资源需求和优化技术。

本论文旨在研究关键词提取方法，重点关注使用三种大型语言模型（LLMs）：Llama2-7B、GPT-3.5和Falcon-7B。通过评估这些模型在Inspec和PubMed数据集上的表现，试图解决使用LLMs进行关键词提取的挑战，包括模型复杂性、资源需求和优化技术等问题。

本论文的关键思路是使用LLMs进行关键词提取，强调了prompt engineering在LLMs中的作用，讨论了LLMs中的幻觉对结果评估的影响。

本研究使用自定义的Python包与LLMs进行接口，简化了关键词提取过程。通过使用Jaccard相似性指数进行评估，得出了GPT-3.5在Inspec和PubMed数据集上的得分分别为0.64和0.21，Llama2-7B的得分分别为0.40和0.17，Falcon-7B的得分分别为0.23和0.12。本论文还探讨了使用LLMs进行关键词提取的挑战和局限性，以及未来的研究方向。

最近在这个领域中，还有一些相关的研究，例如《A Comparative Study of Keyword Extraction Techniques in Text Mining》、《Keyword Extraction and Text Summarization using Advanced Natural Language Processing Techniques》等。