GaSpCT: Gaussian Splatting for Novel CT Projection View Synthesis

我们提出了一种新颖的视图合成和三维场景表示方法GaSpCT，用于生成计算机断层扫描（CT）扫描的新投影视图。我们改编了高斯喷洒框架，以实现基于有限的2D图像投影集的CT新视图合成，无需结构运动（SfM）方法。因此，我们减少了扫描总时间和患者在扫描期间接受的辐射剂量。我们通过使用两个稀疏促进正则化器（beta loss和总变差（TV）loss）来鼓励更强的背景和前景区别，将损失函数调整为我们的用例。最后，我们使用均匀先验分布初始化三维空间中的高斯位置，该先验分布预期大脑位置将在视场内。我们使用帕金森病进展标记倡议（PPMI）数据集的脑CT扫描来评估我们的模型性能，并证明渲染的新视图与模拟扫描的原始投影视图非常相似，并且比其他隐式三维场景表示方法具有更好的性能。此外，我们经验性地观察到，与基于神经网络的图像合成相比，稀疏视图CT图像重建的训练时间减少了。最后，与等效的体素网格图像表示相比，高斯喷洒表示的内存要求减少了17％。

本论文旨在提出一种新的视图合成和3D场景表示方法，用于在计算机断层扫描（CT）中生成新的投影视图。同时，该方法可以减少病人在扫描过程中接受的辐射剂量和扫描时间。

本论文提出了一种基于高斯雾化框架的方法，使得在CT中可以进行新视图合成，而无需使用运动结构（SfM）方法。通过使用beta loss和total variation (TV) loss两种稀疏促进正则化器，鼓励更强的背景和前景区别。同时，通过使用均匀先验分布来初始化3D空间中的高斯位置，来减少高斯雾化表示的内存需求。

本论文使用了Parkinson's Progression Markers Initiative (PPMI)数据集来评估模型性能，并且证明了渲染的新视图与模拟扫描的原始投影视图非常接近，且性能优于其他隐式3D场景表示方法。此外，与基于神经网络的图像合成相比，本方法的训练时间更短。本论文还开源了代码。

在这个领域中，最近的相关研究包括：'Deep Learning for CT Image Reconstruction'、'Low-Dose CT via Convolutional Neural Network'等。