Fed3DGS: Scalable 3D Gaussian Splatting with Federated Learning

本文介绍了Fed3DGS，这是一个基于3D高斯喷洒（3DGS）和联邦学习的可扩展的3D重建框架。现有的城市规模重建方法通常采用集中式方法，将所有数据收集到中央服务器并重建场景。这种方法会使可扩展性受到限制，因为在超出城市规模的场景重建时，它会给服务器带来沉重负担，并要求大量的数据存储。为了实现更可扩展的3D重建，我们提出了一个基于3DGS的联邦学习框架，它是一种分散的框架，可以潜在地利用数百万客户端的分布式计算资源。我们为3DGS量身定制了基于蒸馏的模型更新方案，并引入了外观建模来处理非独立同分布数据在3D重建联邦学习场景中的问题。我们在几个大规模基准测试中模拟了我们的方法，并且我们的方法展示了与集中式方法相当的渲染图像质量。此外，我们还使用不同季节收集的数据模拟了我们的方法，证明我们的框架可以反映场景的变化，我们的外观建模可以捕捉由季节变化引起的变化。

解决问题：该论文旨在提出一种可扩展的三维重建框架，使用联邦学习和三维高斯喷洒技术，以便在分布式计算资源上进行三维重建，同时避免数据集集中在中央服务器上的问题。

关键思路：该论文提出了一种基于联邦学习和三维高斯喷洒技术的分散式三维重建框架，可以在数百万个客户端上使用分布式计算资源，从而实现更好的可扩展性。此外，该论文还引入了外观建模来处理在联邦学习场景下的非独立同分布数据。

其他亮点：论文使用多个大规模基准测试数据集进行了模拟实验，并证明了该方法的渲染图像质量与集中式方法相当。此外，该论文还使用不同季节收集的数据进行了模拟，证明了该框架可以反映场景的变化，外观建模可以捕捉季节变化。

相关研究：在这个领域中，最近的相关研究包括：《Federated Learning for Computer Vision: A Survey》、《Federated Learning: Challenges, Methods, and Future Directions》、《Federated Learning with Non-IID Data: A Semi-Supervised Perspective》等。