MedReadMe: A Systematic Study for Fine-grained Sentence Readability in Medical Domain

医学文本通常很难阅读。正确地衡量它们的可读性是使它们更易读的第一步。在本文中，我们提出了一项系统性的研究，旨在在医学领域的句子级和跨度级别上进行细粒度的可读性测量。我们介绍了一个新的数据集MedReadMe，其中包含4,520个句子的手动注释可读性评分和细粒度的复杂跨度注释，具有两个新的“Google-Easy”和“Google-Hard”类别。它支持我们的定量分析，涵盖650个语言特征和自动复杂词和行话识别。在我们的高质量注释的支持下，我们针对医学领域特别是句子级可读性度量，对几种最先进的句子级可读性度量方法进行了基准测试和改进，包括使用最近开发的大型语言模型（LLMs）的无监督、有监督和提示方法。受我们的细粒度复杂跨度注释的启发，我们发现将一个单一特征，即捕捉行话跨度的数量，添加到现有的可读性公式中，可以显著提高它们与人类判断的相关性。我们将公开发布数据集和代码。

医学文本的可读性较差，本文试图通过细粒度的可读性测量来解决这一问题。

本文介绍了一个新的数据集MedReadMe，包含了4520个句子的人工标注可读性评分和复杂度标注，支持了650个语言特征和自动复杂词和行话识别的定量分析。作者通过高质量的标注，针对医学领域改进了几种最先进的句子级可读性度量方法，包括无监督、监督和基于提示的方法，使用最近开发的大型语言模型（LLM）。作者发现，将行话跨度的数量加入现有的可读性公式中，可以显著提高它们与人类判断的相关性。

本文的亮点包括：介绍了一个新的数据集MedReadMe，支持了650个语言特征和自动复杂词和行话识别的定量分析；针对医学领域改进了几种最先进的句子级可读性度量方法，包括无监督、监督和基于提示的方法，使用最近开发的大型语言模型（LLM）；发现将行话跨度的数量加入现有的可读性公式中，可以显著提高它们与人类判断的相关性。作者将公开数据集和代码。

在这个领域中，最近的相关研究包括“Readability Assessment of Health Information: An Overview of Methodological Factors and Prototype Development”和“Evaluating the Readability of Emergency Department Patient Education Materials: Are We Meeting the Needs of Our Patients?”。