MicroDiffusion: Implicit Representation-Guided Diffusion for 3D Reconstruction from Limited 2D Microscopy Projections

本文介绍了一种名为MicroDiffusion的新型工具，它可以从有限的二维投影中高质量地、深度分辨地重建三维体积。使用非衍射光束的体积光学显微镜可以将三维体积沿轴向投影到二维图像中，但缺乏关键的深度信息。为了解决这个问题，本研究将现有的隐式神经表示模型（INR）的结构连贯性与去噪扩散概率模型（DDPM）的细节增强能力相结合，提出了一种新的方法。首先，使用预训练的INR模型将二维轴向投影图像转换为初步的三维体积。然后，该预训练的INR作为全局先验指导DDPM的生成过程，通过在INR输出和噪声输入之间进行线性插值来丰富扩散过程的结构化三维信息，从而增强了局部二维图像的细节并减少了噪声。通过将扩散模型与最接近的二维投影相结合，MicroDiffusion显著提高了三维重建的保真度，超过了INR和标准DDPM的输出，具有无与伦比的图像质量和结构保真度。本研究的代码和数据集可在https://github.com/UCSC-VLAA/MicroDiffusion上获得。

该论文旨在解决使用非衍射光束的体积光学显微镜成像3D体积时缺乏深度信息的问题，提出了MicroDiffusion方法进行高质量、深度分辨率的3D体积重建。

MicroDiffusion方法将预训练的Implicit Neural Representation (INR)模型与Denoising Diffusion Probabilistic Models (DDPM)集成，通过线性插值将INR的结构信息与DDPM的细节增强能力相结合，提高了3D重建的质量和结构保真度。

论文使用了开源代码和数据集，并对实验进行了详细描述。MicroDiffusion方法在3D重建方面表现出色，超越了INR和标准DDPM的输出结果，具有无与伦比的图像质量和结构保真度。

近期的相关研究包括：1. 'Deep Learning for Light-Sheet Microscopy'；2. 'Deep Learning Enables 3D Quantitative Imaging and Analysis of Live Cell Images'；3. 'Deep Learning in Microscopy Image Analysis: A Survey'。