Grow with the Flow: 4D Reconstruction of Growing Plants with Gaussian Flow Fields

对植物在生长过程中随时间变化的三维外观进行建模，面临着独特的挑战：与许多其他动态场景不同，植物在生长过程中会持续产生全新的几何结构——例如通过扩展、分枝和组织分化等方式。而近期主流的运动建模方法并不适用于这一问题。例如，形变场（deformation fields）本身无法生成新的几何结构；而四维高斯溅射（4D Gaussian splatting）则将运动严格约束为时空中的线性轨迹，且无法在时间维度上持续追踪同一组高斯元（Gaussians）。为此，我们提出一种“三维高斯流场”（3D Gaussian flow field）表征方法，将植物生长建模为高斯参数（包括位置、尺度、朝向、颜色及不透明度）随时间演化的连续导数场，从而支持非线性、连续时间尺度下的生长动力学建模。为初始化足够数量的高斯基元，我们首先重建植株成熟期的三维结构，并进一步学习一个“逆向生长”过程——即从成熟形态出发，反向模拟其完整的发育历史。在多视角植物生长延时摄影数据集上的实验表明，本方法在图像质量与几何精度两方面均显著优于现有各类方法，为生长型三维结构的外观建模提供了一种全新且有效的技术路径。

建模植物在生长过程中随时间变化的3D外观——这是一个新问题，因为传统动态场景建模（如NeRF、4D Gaussian Splatting、变形场）假设几何拓扑恒定，而植物生长本质是拓扑生成过程（新枝、新叶、体积扩张），无法用固定数量的 primitives 或线性时空轨迹描述。

提出‘3D高斯流场’（Gaussian Flow Field）：将每个高斯参数（位置、尺度、方向、颜色、不透明度）视为连续时间t的可微函数，其演化由一个神经隐式场∂/∂t(·)建模；并通过逆向生长重建（reverse growth initialization）从成熟植株反演初始稀疏高斯集，使模型天然支持非线性、连续、拓扑感知的生长建模。

在真实多视角植物延时摄影数据集（含拟南芥、豆苗等）上验证，显著优于4D Gaussian Splatting、Deformable NeRF和动态SDF基线；采用可微渲染+时序一致性损失+逆向生长正则化；代码与数据集已开源（GitHub链接见论文附录）；亮点包括首次实现单一体素化表示下的结构生成建模、支持生长过程编辑（如暂停/加速/局部修剪模拟）；未来可拓展至器官级语义生长控制与跨物种泛化。

4D Gaussian Splatting (Kerbl et al., SIGGRAPH 2023); Animatable Gaussians (Wu et al., CVPR 2024); Neural Growth Fields (Zhang et al., ECCV 2022); Deformable NeRF (Pumarola et al., CVPR 2021); GRF: Generative Radiance Fields (Chen et al., NeurIPS 2023)