Multimodal Machine Learning Combining Facial Images and Clinical Texts Improves Diagnosis of Rare Genetic Diseases

怀疑患有罕见遗传疾病的个体通常需要经历多次临床评估、影像研究、实验室检测和基因检测，以在多年的时间内找到可能的答案。因此，解决这种诊断漫游具有重大的临床、心理和经济效益。许多罕见的遗传疾病具有独特的面部特征，可以被人工智能算法用于促进临床诊断，优先考虑需要进一步检查的候选疾病，或帮助表型驱动的基因组/外显子测序数据的重新解释。然而，使用正面面部照片的现有方法建立在传统的卷积神经网络（CNN）上，仅依赖面部图像，并不能捕捉非面部表型特征和指导准确诊断所必需的人口统计信息。在这里，我们介绍了GestaltMML，这是一种基于Transformer架构的多模态机器学习（MML）方法。它集成了患者的面部图像、人口统计信息（年龄、性别、种族）和临床记录，以提高预测准确性。此外，我们还介绍了GestaltGPT，这是一种基于GPT的方法，具有少量短期学习能力，专门利用一系列大型语言模型（LLM），包括Llama 2、GPT-J和Falcon，仅使用文本输入。我们在各种数据集上评估了这些方法，包括来自GestaltMatcher数据库的449种疾病、Beckwith-Wiedemann综合征、Sotos综合征、NAA10相关综合征（神经发育综合征）等几个内部数据集。我们的结果表明，GestaltMML/GestaltGPT有效地整合了多种数据模态，大大缩小了罕见疾病的候选基因诊断范围，并可能促进基因组/外显子测序数据的重新解释。

论文旨在解决罕见遗传病的诊断问题，通过使用多模态机器学习方法，整合面部图像、人口统计学信息和临床笔记等多种数据，提高预测准确性。

本文提出了两种基于Transformer和GPT架构的多模态机器学习方法，分别是GestaltMML和GestaltGPT，可以整合多种数据，缩小罕见遗传病的候选诊断，有助于基因组/外显子测序数据的重新解释。

本文使用了多个数据集进行实验，包括GestaltMatcher数据库和一些内部数据集，证明了GestaltMML和GestaltGPT可以有效整合多种数据，提高罕见遗传病的诊断准确性。此外，本文还提到了一些值得深入研究的工作，如如何优化模型性能和如何将模型应用于临床实践中。

最近在这个领域中，也有一些相关的研究，如使用卷积神经网络（CNN）的面部图像识别方法等。