UMass-BioNLP at MEDIQA-M3G 2024: DermPrompt -- A Systematic Exploration of Prompt Engineering with GPT-4V for Dermatological Diagnosis

本文介绍了我们团队参加MEDIQA-ClinicalNLP2024共享任务B的情况。我们提出了一种新的方法，通过整合大型多模态模型，特别是利用GPT-4V在检索器和重新排名框架下的能力来诊断临床皮肤病例。我们的研究表明，当GPT-4V作为检索代理使用时，使用皮肤病图像和简要病史，可以准确地检索到正确的皮肤状况，成功率为85%。此外，我们经验证明，Naive Chain-of-Thought（CoT）在检索方面效果良好，而需要基于医学指南的CoT才能准确诊断皮肤病。此外，我们还引入了一个多代理人对话（MAC）框架，并展示了它在最佳CoT策略上的卓越性能和潜力。实验表明，使用Naive CoT进行检索和基于批判的诊断的多代理人对话，GPT-4V可以早期准确地诊断皮肤病。这项工作的影响扩展到改善诊断工作流程，支持皮肤科教育，并通过提供可扩展、可访问和准确的诊断工具来增强患者护理。

本论文旨在通过集成大型多模型，特别是利用检索器和重新排名框架下GPT-4V的能力，提出一种新的诊断临床皮肤病例的方法。

本文的关键思路是使用GPT-4V作为检索器，结合Naive Chain-of-Thought（CoT）和Medical Guidelines Grounded CoT，以及Multi-Agent Conversation（MAC）框架，提高皮肤病的诊断准确性。

实验结果显示，使用GPT-4V作为检索器，结合Naive CoT，可以在85%的情况下准确检索出正确的皮肤病情。同时，本文还引入了MAC框架，并展示了其在诊断中的优越性能和潜力。本文的研究有望提高诊断工作流程，支持皮肤病教育，并通过提供可扩展、可访问和准确的诊断工具来增强患者护理。

最近在这个领域中，还有一些相关的研究，如：'Dermatology diagnosis using deep learning: A review'、'Deep learning for skin lesion classification: A comparative review'等。