HeartBeat: Towards Controllable Echocardiography Video Synthesis with Multimodal Conditions-Guided Diffusion Models

心脏超声（ECHO）视频广泛用于心脏检查。在临床上，这个过程严重依赖于操作者的经验，需要多年的培训，可能需要深度学习系统的帮助，以提高准确性和效率。然而，由于获取足够的定制数据（例如异常情况）用于新手培训和深度模型开发在临床上是不现实的，因此可控的ECHO视频合成非常有必要。在本文中，我们提出了一个名为HeartBeat的新型基于扩散的框架，用于可控和高保真度的ECHO视频合成。我们的亮点有三个。首先，HeartBeat作为一个统一的框架，可以同时感知多模态条件，以指导可控的生成。其次，我们将多模态条件分解为局部和全局条件，并提供两种插入策略，以分别提供精细和粗粒度的控制，以一种可组合和灵活的方式。通过这种方式，用户可以通过组合多模态控制信号来合成符合他们心理想象的ECHO视频。第三，我们提出使用两阶段训练方案来解耦视觉概念和时间动态学习，以简化模型训练。另一个有趣的事情是，HeartBeat可以轻松地推广到使用少量样本进行掩膜引导的心脏MRI合成，展示了其对更广泛应用的可扩展性。在两个公共数据集上进行的大量实验表明了所提出的HeartBeat的功效。

解决问题：论文旨在提出一种可控的、高保真度的心脏超声视频合成方法，以解决当前心脏超声检查受操作员经验影响大、训练难度大等问题。

关键思路：论文提出了一种基于扩散的框架HeartBeat，能够同时感知多模态条件，将其分解为局部和全局条件，提供细粒度和粗粒度控制，从而实现可控的生成。此外，论文还提出了一种两阶段训练方案，以解耦视觉概念和时间动态学习。

其他亮点：论文的实验结果表明，HeartBeat方法在两个公共数据集上表现出了较好的效果，并且能够轻松地推广到基于掩模的心脏MRI合成中。此外，论文还探讨了一些未来的研究方向，如如何更好地利用已有数据、如何提高生成视频的多样性等。

相关研究：最近的相关研究包括基于GAN的图像合成、基于深度学习的超声图像分割等。