Concordance in basal cell carcinoma diagnosis. Building a proper ground truth to train Artificial Intelligence tools

背景：不同基底细胞癌（BCC）的临床标准无法客观验证。需要一个足够的标准来训练人工智能（AI）工具，通过提供其皮肤镜特征来解释BCC诊断。目的：确定皮肤科医生在204例BCC皮肤镜标准上的共识。分析当推断出标准时，AI工具的表现。方法：进行了一项单中心、诊断性和前瞻性研究，以分析四名皮肤科医生的皮肤镜标准一致性，并得出参考标准。使用了1434张皮肤镜图像，这些图像由一名初级保健医师拍摄，通过远程皮肤病诊断发送，并由皮肤科医生诊断。它们是从远程皮肤病诊断平台（2019-2021）随机选择的。其中204个被用于测试AI工具，其余的用于训练AI工具。使用一个皮肤科医生的标准与使用四名皮肤科医生共识推断出的标准训练的AI工具的表现进行了McNemar's检验和Hamming距离分析。结果：皮肤科医生在BCC诊断上达成完全一致（Fleiss-Kappa=0.9079），并与活检高度相关（PPV=0.9670）。然而，在检测一些皮肤镜标准时一致性较低。在使用一个皮肤科医生的标准与使用四名皮肤科医生共识推断出的标准训练的AI工具的表现上存在统计上的差异。结论：在训练AI工具以确定病变中存在的BCC模式时应格外谨慎。应从多名皮肤科医生建立标准。

解决问题：该论文试图建立一个基于多名皮肤科医生共识的基准标准，以训练人工智能工具来识别基底细胞癌的皮肤镜特征。

关键思路：通过多名皮肤科医生的共识来建立基准标准，以提高人工智能工具的训练效果。

其他亮点：该论文使用了1434张由初级医生通过远程皮肤病诊断平台拍摄的皮肤镜图像，并进行了临床前瞻性研究。结果显示，多名皮肤科医生在诊断基底细胞癌方面达成了完美的一致性，但在检测某些皮肤镜特征方面一致性较低。该论文还比较了使用单一医生的基准标准和使用多名医生共识的基准标准训练人工智能工具的效果差异。

相关研究：在这个领域中，还有一些相关的研究，例如“Dermatologist-level classification of skin cancer with deep neural networks”和“Artificial intelligence for melanoma diagnosis: How can we deliver on the promise?”.