Relation Extraction Using Large Language Models: A Case Study on Acupuncture Point Locations

本研究旨在比较大型语言模型（LLMs）如预训练生成式转换（GPT）与传统深度学习模型（长短时记忆（LSTM）和双向编码器表示来自生物医学文本挖掘的变压器（BioBERT））在提取与穴位位置相关的关系方面的性能，并评估预训练和微调对GPT性能的影响。研究利用了世界卫生组织西太平洋地区标准穴位位置（WHO Standard）作为语料库，其中包括361个穴位的描述。标注了五种类型的关系（'direction_of'，'distance_of'，'part_of'，'near_acupoint'和'located_near'）（n = 3,174）之间的关系。比较了五个模型：BioBERT，LSTM，预先训练的GPT-3.5和微调的GPT-3.5，以及预先训练的GPT-4。性能指标包括微平均精确匹配精度、召回率和F1分数。结果表明，微调的GPT-3.5在所有关系类型的F1分数方面始终优于其他模型。总体上，它实现了最高的微平均F1分数为0.92。该研究强调了像GPT这样的LLMs在提取与穴位位置相关的关系方面的有效性，对于准确建模针灸知识并促进针灸培训和实践的标准化具有重要意义。这些发现还有助于推进传统和补充医学的信息学应用，展示了LLMs在自然语言处理方面的潜力。

本文试图比较使用大型语言模型（LLMs）如GPT与传统深度学习模型（LSTM和BioBERT）在提取与穴位位置相关的关系时的性能差异，并评估预训练和微调对GPT性能的影响。

本文使用WHO标准穴位位置作为语料库，注释了361个穴位之间的五种关系，并发现微调后的GPT-3.5在所有关系类型中的F1得分都表现出色。

本文的实验设计充分，使用了公开数据集并提供了开源代码。结果表明，GPT在提取与穴位位置相关的关系方面具有潜力。此外，本研究的发现还有助于推动传统和补充医学领域的信息学应用，展示了LLMs在自然语言处理方面的潜力。

最近在这个领域中，还有一些相关的研究，如《基于深度学习的穴位位置关系提取研究》和《基于BERT的穴位位置关系提取方法研究》等。