A Unified Model for Longitudinal Multi-Modal Multi-View Prediction with Missingness

医疗记录通常由不同类型的数据组成，例如图像、文本和表格信息。整合所有类型的数据可以提供患者病情的全面视图，而纵向分析这些数据可以更好地理解疾病的进展。然而，现实中的纵向医疗记录存在挑战：1）患者可能缺乏某个时间点的某些或所有数据，2）某些类型或视角的数据可能在某个时间段内所有患者中均缺失。在本研究中，我们介绍了一种用于具有缺失数据的纵向多模态多视角（MMMV）预测的统一模型。我们的方法允许输入任意多个时间点，并旨在利用所有可用数据，无论它们的可用性如何。我们在来自骨关节炎倡议（OAI）的膝关节骨关节炎数据集上进行了广泛的实验，用于预测未来时间点的疼痛和Kellgren-Lawrence分级（KLG）。我们通过将我们的统一模型的结果与在训练和评估期间使用相同类型和视角组合的特定模型进行比较，证明了我们方法的有效性。我们还展示了具有扩展时间数据的好处，并提供了后续分析，以更深入地了解每种类型/视角对不同任务的重要性。

本文旨在解决长期多模态多视图（MMMV）预测中数据缺失的问题，提出了一种统一模型。该模型可以利用不同时间点的所有可用数据，无论其可用性如何。

本文提出的方法可以处理不同时间点的数据缺失问题，并将所有可用数据整合到一个统一的模型中，实现了长期MMMV预测。

本文在膝骨关节炎数据集上进行了广泛的实验，展示了统一模型的有效性，并与使用相同模态和视图组合的特定模型进行了比较。实验结果表明，扩展时间数据的利用对于不同任务的模态/视图的重要性具有不同的影响。本文还提供了后续分析，以更深入地理解每个模态/视图对于不同任务的重要性。

最近在这个领域中，还有一些相关的研究，如Longitudinal Analysis with Missing Data (LAM) 和Multimodal Learning with Missing Modalities (M3)。