WangLab at MEDIQA-CORR 2024: Optimized LLM-based Programs for Medical Error Detection and Correction

本文讨论了临床文本中的医疗错误对患者安全构成的重大风险。MEDIQA-CORR 2024共享任务旨在检测和纠正这些错误，包括三个子任务：识别错误的存在、提取错误的句子和生成纠正后的句子。本文介绍了我们在所有三个子任务中均取得最佳表现的方法。对于包含微妙错误的MS数据集，我们开发了一个基于检索的系统，利用外部医学问答数据集。对于反映更真实的临床笔记的UW数据集，我们创建了一个模块化的流程来检测、定位和纠正错误。这两种方法都利用了DSPy框架来优化大型语言模型（LLM）程序中的提示和少量样例。我们的结果表明，基于LLM的程序对于医疗错误纠正非常有效。然而，我们的方法在解决医疗文档中可能存在的各种错误方面存在局限性。我们讨论了我们工作的影响，并强调未来研究方向，以提高医疗错误检测和纠正系统的鲁棒性和适用性。

本文旨在解决临床文本中存在的医疗错误，包括错误的检测、定位和纠正。这是否是一个新问题？

本文提出了两种不同的方法来解决医疗错误的问题。对于MS数据集，作者使用了外部医疗问答数据集，建立了一个基于检索的系统。对于UW数据集，作者创建了一个由多个模块组成的流水线来检测、定位和纠正错误。两种方法都使用了DSPy框架来优化大型语言模型程序中的提示和少量样例。相比当前领域的研究，本文的关键思路是使用大型语言模型来解决医疗错误的问题。

本文在MEDIQA-CORR 2024共享任务中取得了三个子任务的最佳表现。作者的方法在医疗错误纠正方面取得了很好的效果，但也存在一定的局限性。作者使用了MS和UW数据集，并开源了他们的代码。本文的亮点是使用了大型语言模型和DSPy框架来解决医疗错误的问题。未来的研究方向包括提高医疗错误检测和纠正系统的鲁棒性和适用性。

最近在这个领域中，还有一些相关的研究，例如：“BERT for Clinical Text Correction: A Baseline Study on Medical Error Correction”和“Correction of Grammatical Errors in Medical Reports using Transformer-based Sequence-to-Sequence Learning”等。