SkinCAP: A Multi-modal Dermatology Dataset Annotated with Rich Medical Captions

随着人工智能（AI），尤其是深度学习（DL）和基于视觉的大型语言模型（VLLM）在皮肤疾病诊断中的广泛应用，解释性的需求变得至关重要。然而，现有的皮肤病学数据集在包含概念级元标签方面存在限制，并且没有提供自然语言中丰富的医学描述。这种不足阻碍了基于LLM的方法在皮肤病学诊断方面的进展。为了解决这一差距并提供一个详细注释的皮肤病学数据集，其中包括全面的自然语言描述，我们介绍了SkinCAP：一个多模式皮肤病学数据集，注释了丰富的医学字幕。SkinCAP包括从Fitzpatrick 17k皮肤病数据集和多样化皮肤病图像数据集中获取的4,000张图像，由获得认证的皮肤科医生进行注释，以提供广泛的医学描述和字幕。值得注意的是，SkinCAP代表了世界上第一个这样的数据集，并可在https://huggingface.co/datasets/joshuachou/SkinCAP上公开获取。

论文旨在解决皮肤病诊断中的可解释性问题，提供一个包含丰富医学描述的皮肤病数据集。

通过引入丰富的医学描述，提高基于自然语言处理的皮肤病诊断模型的准确性和可解释性。

论文介绍了一个多模态的皮肤病数据集SkinCAP，包含4000张图像和详细的医学描述，是全球第一个提供这种类型数据集的研究。研究者使用了深度学习和自然语言处理技术，提高了皮肤病诊断模型的准确性和可解释性。数据集已经公开发布，可以用于皮肤病诊断和相关研究。

近年来，越来越多的研究关注于利用深度学习和自然语言处理技术来提高皮肤病诊断模型的准确性和可解释性。例如，Yuan等人在《Skin Disease Classification Using Ensemble of Deep Convolutional Neural Network and Stacked Sparse Autoencoder》中提出了一种基于深度学习的皮肤病分类方法。