CuriGS: Curriculum-Guided Gaussian Splatting for Sparse View Synthesis

3D高斯点阵化（3D Gaussian Splatting, 3DGS）最近作为一种高效且高保真的表示方法，在实时场景重建与渲染中崭露头角。然而，由于视角稀疏导致监督信号不足以及有限的视角覆盖引发过拟合问题，将3DGS扩展到稀疏视角设置仍具挑战性。本文提出CuriGS，一种基于课程学习指导的框架，用于在稀疏视角条件下利用3DGS进行三维重建。CuriGS通过引入“学生视角”来应对稀疏视角合成的核心难题：这些学生视角是在真实姿态（即“教师”视角）周围采样的伪视角。针对每个教师视角，我们生成多组具有不同扰动程度的学生视角。在训练过程中，我们遵循一种课程式调度策略，逐步解锁更高扰动级别的学生视角，并从当前激活级别中随机采样候选学生参与训练。每个采样的学生视角通过深度相关性和协同正则化进行约束，并采用结合SSIM、LPIPS和图像质量评估指标的多信号度量方式进行评价。对于每个教师视角及其对应的扰动级别，我们定期保留表现最优的学生，并将满足预设质量阈值的学生提升至训练集，从而实现对稀疏训练视角的稳定扩充。实验结果表明，CuriGS在多种合成与真实稀疏视角场景下，无论是在渲染质量还是几何一致性方面，均优于当前最先进的基线方法。项目主页：https://zijian1026.github.io/CuriGS/

论文试图解决在稀疏视角（sparse-view）条件下使用3D高斯点阵（3DGS）进行高质量三维重建和渲染的问题。由于视角稀缺，监督信号不足，容易导致过拟合和重建质量下降。这是一个具有挑战性的新问题，尤其在真实场景中视角获取成本高、数据难以密集采集的背景下尤为关键。

提出CuriGS，一种课程引导的框架，通过引入‘学生视图’——即围绕真实视角（教师）添加不同程度扰动生成的伪视角——逐步扩展训练数据。采用课程学习策略，从低扰动到高扰动逐步解锁学生视图，并通过深度相关性约束、协同正则化和多信号评估机制筛选高质量学生视图加入训练集，从而稳定增强稀疏输入。该思路创新地将课程学习与伪视角生成结合，有效缓解了稀疏监督下的过拟合问题。

实验设计在多个合成与真实稀疏视角场景上验证了方法的有效性，指标涵盖渲染保真度与几何一致性。使用了常见基准数据集（如 synthetic Blender 和真实采集数据），并与当前最先进的方法进行了对比，结果表明CuriGS性能领先。项目已开源（GitHub链接在摘要中提供），代码和项目页面便于复现与进一步研究。值得深入的方向包括：将课程机制推广到其他神经渲染框架，或结合主动采样策略优化视角选择。

1. Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields 2. Instant Neural Graphics Primitives with a Multiresolution Hash Encoding 3. 3D Gaussian Splatting for Real-Time Radiance Field Rendering 4. RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs 5. PatchNeRF: Patch-based NeRF for High-Resolution Visual Reconstruction