基于多智能体深度强化学习的迭代优化交互式 3D 医学图像分割

【作者团队】Xuan Liao, Wenhao Li, Qisen Xu, Xiangfeng Wang, Bo Jin, Xiaoyun Zhang, Ya Zhang and Yanfeng Wang

【论文链接】https://arxiv.org/pdf/1911.10334.pdf

【推荐理由】现有的自动 3D 图像分割方法通常不能满足临床使用。许多研究探索了一种交互式策略，通过迭代地结合用户提示来提高图像分割性能。然而，连续交互的动态过程在很大程度上被忽略了。本文建议将迭代交互式图像分割的动态过程建模为马尔可夫决策过程 (MDP)，并使用强化学习 (RL) 解决它。不幸的是，由于探索空间很大，使用单智能体 RL 进行体素预测是很困难的。为了将探索空间减小到易于处理的范围，本文将每个体素视为具有共享体素级行为策略的智能体，以便可以通过多智能体强化学习来解决。这种多智能体模型的另一个优点是捕获体素之间的依赖性以进行分割任务。同时，为了丰富先前分割的信息，本文在 MDP 的状态空间中保留了预测的不确定性，并导出了一个调整动作空间，导致更精确和更精细的分割。此外，为了提高探索效率，本文设计了一个基于相对交叉熵增益的奖励，以在受限方向上更新策略。在各种医学数据集上的实验结果表明，本文的方法显著优于现有的最先进方法，具有交互更少和收敛速度更快的优势。