NeRF-US: Removing Ultrasound Imaging Artifacts from Neural Radiance Fields in the Wild

目前在超声成像数据中进行3D重建和新视角合成（NVS）的方法往往在训练基于NeRF的方法时面临严重的伪影问题。由于超声成像的独特性质，当前方法产生的伪影与一般场景中的NeRF浮点不同。此外，现有模型在超声数据在临床环境中随意捕获或获取时无法产生合理的3D重建结果。因此，现有的重建和NVS方法难以处理超声运动，无法捕捉复杂的细节，并且无法建模透明和反射表面。在本研究中，我们介绍了NeRF-US，它将边界概率和散射密度的3D几何指导纳入NeRF训练，同时利用超声特定的渲染而不是传统的体积渲染。这些3D先验知识是通过扩散模型学习的。通过在我们的新的“野外超声”数据集上进行的实验，我们观察到准确、临床可信、无伪影的重建结果。

该论文旨在解决超声成像数据中的3D重建和新视角合成中存在的严重伪影问题，特别是在临床环境中捕获或获得超声数据时。

NeRF-US将3D几何指导信息引入NeRF训练中，利用超声特定渲染方法，通过扩散模型学习边缘概率和散射密度等3D先验知识，从而实现准确、临床可行、无伪影的重建。

论文提出了NeRF-US模型来解决超声成像中的3D重建和新视角合成中存在的严重伪影问题，使用了新的“Ultrasound in the Wild”数据集进行实验，证明了NeRF-US模型的准确性和可行性。同时，论文的方法还可以处理超声运动、捕捉复杂细节和建模透明和反射表面等问题。

在这个领域中，最近的相关研究包括“DeepUS: Ultrasound Image Segmentation using Deep Learning”和“Real-time 3D Ultrasound Reconstruction from a Single View Using Deep Learning”。