【论文标题】MUFASA: Multimodal Fusion Architecture Search for Electronic Health Records 【作者团队】Zhen Xu, David R. So, Andrew M. Dai 【发表时间】2021.2.3 【推荐理由】论文收录于AAAI-2021会议，研究人员首次提出多模态融合体系结构搜索，同时搜索多模态融合策略和特定于某一模态的体系结构，实现对目前最先进的神经体系结构搜索方法的扩展。

将深度学习应用于电子病历的一个重要挑战就是其多模态结构的复杂性。电子病历通常包含结构化（代码）和非结构化（自由文本）数据，这些数据具有稀疏和不规则的纵向特征，医生在做医学决定时都会使用这些数据。在深度学习机制中，确定不同的模态表示应该如何融合在一起是一个困难的问题，这通常通过手工建模和直觉来解决。实验结果显示，论文提出的多模态融合体系结构搜索方法在公共电子病历数据上优于单模态的神经体系结构搜索方法，且计算成本相当。此外，多模态融合体系结构搜索的生产架构性能优于Transformer和Evolved Transformer。与CCS诊断代码预测的基线相比，研究人员发现多模态融合体系结构搜索模型能将前5名的召回率从0.88提到到0.91，并显示了对其他电子病历任务的推广能力。实验结果表明，多模态融合体系结构搜索模型的改进来自于它为每个数据模式定制建模以及有效的融合策略能力。

图：多模态融合体系结构搜索样例结构

内容中包含的图片若涉及版权问题，请及时与我们联系删除