Blaze3DM: Marry Triplane Representation with Diffusion for 3D Medical Inverse Problem Solving

解决像图像恢复和重建等三维医学反问题在现代医学领域中至关重要。然而，三维医学数据中的维度诅咒导致主流的基于体积的方法耗费资源高，挑战模型成功捕捉自然分布，导致不可避免的体积不一致和伪影。一些最近的工作试图简化潜在空间中的生成，但缺乏有效建模复杂图像细节的能力。为了解决这些限制，我们提出了Blaze3DM，一种新颖的方法，通过集成紧凑的三面神经场和强大的扩散模型实现快速和高保真度的生成。在技术上，Blaze3DM首先通过同时优化数据相关的三面嵌入和共享解码器来重建每个三面回到相应的三维体积。为了进一步增强三维一致性，我们引入了一个轻量级的三维感知模块来模拟三个垂直平面的相关性。然后，在潜在的三面嵌入上训练扩散模型，并实现无条件和有条件的三面生成，最终解码为任意大小的体积。包括稀疏视图CT、有限角度CT、压缩感知MRI和MRI同构超分辨率在内的零样本三维医学反问题求解的大量实验表明，Blaze3DM不仅实现了最先进的性能，而且比现有方法显著提高了计算效率（比以前的工作快22~40倍）。

Blaze3DM试图解决3D医学图像重建中存在的高资源消耗和模型无法有效捕捉自然分布的问题，导致体积不一致和伪影的问题。

Blaze3DM通过集成紧凑的三平面神经场和强大的扩散模型，实现快速高保真度的生成。通过优化数据相关的三平面嵌入和共享解码器，同时将每个三平面重建回相应的3D体积，进一步提高3D一致性。

论文使用了Blaze3DM方法在零样本3D医学逆问题求解中进行了广泛的实验，包括稀疏视角CT、有限角度CT、压缩感知MRI和MRI各向同性超分辨率。实验结果表明，Blaze3DM不仅实现了最先进的性能，而且比现有方法提高了计算效率（比以前的工作快22~40倍）。

在这个领域中，最近的相关研究包括：1） 'Deep Learning for Inverse Problems in Imaging'，2） 'Learning Fast Approximations of Sparse Coding'，3） 'Deep Image Prior'等。