Application of 3D Gaussian Splatting for Cinematic Anatomy on Consumer Class Devices

交互式逼真的3D解剖渲染在医学教育中用于解释人体结构。目前，它仅限于正面教学场景，即使使用强大的GPU和高速访问数据集所在的大型存储设备，也难以实现交互式演示。我们提出了使用压缩的3D高斯喷洒（3DGS）进行新视角合成，以克服这一限制，甚至使学生能够在轻便的移动设备上进行影视解剖学。我们提出的流程首先找到一组相机姿态，捕捉数据中所有可能看到的结构。然后使用路径追踪生成高质量图像，并转换为紧凑的3DGS表示形式，即使对于多个GB的数据集，也只需消耗小于70 MB的空间。这允许实时逼真的新视角合成，可以恢复高达体素分辨率的结构，并且几乎与路径追踪图像无法区分。

论文旨在解决医学教育中交互式逼真渲染的限制问题，即无法在轻量级和移动设备上实现实时渲染。

通过压缩的3D高斯喷洒（3DGS）进行新视角合成，从而实现逼真的渲染效果，并消耗少量存储空间。

论文提出的方法可以用于医学教育中的人体解剖学，且可以在轻量级和移动设备上实现实时渲染。实验表明，该方法可以恢复体素分辨率的结构，并且几乎与路径追踪图像无法区分。

最近的相关研究包括：《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》、《DeepVoxels: Learning Persistent 3D Feature Embeddings》等。