SkinGEN: an Explainable Dermatology Diagnosis-to-Generation Framework with Interactive Vision-Language Models

随着视觉语言模型（VLM）技术的不断进步，皮肤病学领域出现了显著的研究成果，这是人类疾病中第四大流行类别。然而，尽管取得了这些进展，VLM在皮肤病诊断中仍面临“幻觉”，由于皮肤病情的固有复杂性，现有工具对用户理解的支持相对有限。我们提出了SkinGEN，这是一个诊断到生成的框架，利用稳定扩散（SD）方法从VLM提供的诊断结果中生成参考演示，从而增强用户的视觉可解释性。通过与低秩适应（LoRA）的大量实验，我们确定了皮肤状况图像生成的最佳策略。我们进行了一项32名参与者评估系统性能和可解释性的用户研究。结果表明，SkinGEN显著提高了用户对VLM预测的理解，并促进了对诊断过程的信任。这项工作为更透明和以用户为中心的VLM应用在皮肤病学及其他领域铺平了道路。

本论文旨在解决皮肤病诊断中VLM技术的幻觉问题，提高用户对VLM预测的理解和信任度。

SkinGEN是一种诊断到生成框架，利用稳定扩散方法从VLM提供的诊断结果生成参考演示，增强用户的视觉可解释性。

论文通过LoRA的实验，确定了最佳的皮肤状况图像生成策略，并进行了32名参与者的用户研究，证明SkinGEN显著提高了用户对VLM预测的理解和信任度。

最近的相关研究包括基于深度学习的皮肤病诊断，如《Dermatologist-level classification of skin cancer with deep neural networks》和《Towards Automated Melanoma Screening: Exploring Transfer Learning Schemes》等。