Exploring the Comprehension of ChatGPT in Traditional Chinese Medicine Knowledge

以前没有研究过大型语言模型在中医领域的表现，中医是一门具有丰富历史的重要的医学知识分支。为了弥补这一空白，我们提出了一个名为TCM-QA的中医问题数据集，包括三种问题类型：单选、多选和判断，以检查LLM在中医领域的知识回忆和综合推理能力。在我们的研究中，我们评估了LLM的两种设置，即零-shot和少-shot设置，同时讨论了英文和中文提示之间的差异。我们的结果表明，ChatGPT在判断问题中表现最佳，精度最高达0.688，而在多选问题中得分最低，精度为0.241。此外，我们观察到，在我们的评估中，中文提示的表现优于英文提示。此外，我们评估了ChatGPT生成的解释的质量及其对中医知识理解的潜在贡献。本文提供了有关LLM在专业领域中的适用性的有价值的见解，并为未来利用这些强大模型推进中医领域的研究铺平了道路。

论文旨在探究大型语言模型在中医领域中的应用，特别是在知识回忆和综合推理方面的表现如何。

论文提出了一个中医问题数据集TCM-QA，并使用零样本和少样本两种设置来评估两个大型语言模型（GPT-2和ChatGPT）的表现。结果表明，中文提示比英文提示更有效，ChatGPT在判断题方面表现最好。

论文的亮点包括提出了一个新的中医问题数据集，使用了零样本和少样本两种设置来评估大型语言模型的表现，结果表明中文提示比英文提示更有效。此外，论文还评估了ChatGPT生成的解释的质量，并探讨了其对中医知识理解的潜在贡献。

最近的相关研究包括医学自然语言处理和大型语言模型在其他领域的应用，如自然语言生成和对话系统。