TeethDreamer: 3D Teeth Reconstruction from Five Intra-oral Photographs

正畸治疗通常需要定期面对面的检查来监测患者的牙齿状况。当无法进行当面诊断时，一种替代方法是利用五张口内照片进行远程牙齿监测。然而，这种方法缺乏三维信息，如何从这种稀疏的视图照片中重建三维牙齿模型是一个具有挑战性的问题。在本研究中，我们提出了一个名为TeethDreamer的三维牙齿重建框架，旨在恢复上下牙齿的形状和位置。在给定五张口内照片的情况下，我们的方法首先利用大型扩散模型的先前知识生成具有已知姿态的新型多视图图像，以解决稀疏输入问题，然后通过神经表面重建重建高质量的三维牙齿模型。为了确保生成视图之间的三维一致性，我们在反向扩散过程中集成了一个三维感知特征注意机制。此外，在牙齿重建过程中还加入了几何感知的法向量损失，以增强几何精度。大量实验证明了我们的方法优于当前的最新技术，有潜力远程监测正畸治疗。我们的代码可在https://github.com/ShanghaiTech-IMPACT/TeethDreamer上获得。

如何从稀疏的口腔照片中重建3D牙齿模型，以便监测矫正治疗？

使用大规模扩散模型的先验知识生成已知姿态的多视角图像，然后通过神经表面重建技术重建高质量的3D牙齿模型。同时，通过整合3D感知特征注意机制和几何感知正常损失来提高几何精度，保证生成视图的3D一致性。

该论文提出了一个名为TeethDreamer的3D牙齿重建框架，可以从五张口腔照片中重建上下牙齿的形状和位置。实验结果表明，该方法优于当前的最新技术，并有潜力用于远程监测矫正治疗。作者已经开源了代码。

最近的相关研究包括：《3D tooth reconstruction from dental radiographs using a convolutional neural network》、《Fully automated tooth segmentation and numbering using deep convolutional neural network》、《ToothNet: Automatic Tooth Instance Segmentation and Identification from Cone Beam CT Images Using Deep Convolutional Neural Network》等。