Particle-Grid Neural Dynamics for Learning Deformable Object Models from RGB-D Videos

对可变形物体的动力学进行建模是一项具有挑战性的任务，这是因为它们具有多样化的物理属性，并且从有限的视觉信息中估计状态十分困难。我们通过一种结合了物体粒子和空间网格的混合表示的神经动力学框架来应对这些挑战。我们的粒子-网格模型能够捕捉全局形状和运动信息，同时预测密集的粒子运动，从而实现对不同形状和材料的物体的建模。粒子用于表示物体的形状，而空间网格则对3D空间进行离散化处理，以确保空间连续性并提高学习效率。结合高斯点渲染技术，我们的框架实现了完全基于学习的可变形物体数字孪生，并生成了3D动作条件视频。通过实验，我们证明了我们的模型可以从机器人与物体交互的稀疏视角RGB-D记录中学习到各种物体（如绳子、布料、填充动物和纸袋）的动力学特性，同时还能够在类别级别上泛化到未见过的实例。我们的方法在性能上优于当前最先进的基于学习和基于物理的模拟器，特别是在相机视图有限的情况下表现尤为突出。此外，我们展示了所学到的模型在基于模型的规划中的实用性，使目标条件下的物体操作能够在多种任务中得以实现。项目页面可在 https://kywind.github.io/pgnd 查看。

论文试图解决变形物体的动力学建模问题，尤其是如何从稀疏视角的RGB-D数据中学习不同形状和材质的物体动力学。这是一个具有挑战性的问题，因为变形物体的物理属性多样且难以从有限视觉信息中估计状态。

论文提出了一种结合粒子和空间网格的混合表示方法（Particle-Grid Model），通过粒子捕捉物体形状，空间网格确保空间连续性并提高学习效率。同时，模型结合高斯点阵渲染技术生成3D动作条件视频，形成完全基于学习的数字孪生系统。这种方法在建模复杂变形物体时表现出色，尤其是在多视图受限的情况下。

实验表明该模型可以学习多种变形物体（如绳子、布料、填充动物等）的动力学，并在类别级别上泛化到未见过的实例。此外，该方法在机器人目标导向任务中展示了良好的规划能力。论文使用了机器人与物体交互的稀疏视角RGB-D数据集，并在项目页面（https://kywind.github.io/pgnd）提供了相关资源，但未明确提到代码是否开源。未来可进一步研究更复杂的材料特性和更高分辨率的模拟效果。

相关研究包括：1) 基于物理仿真的变形物体建模方法（如MuJoCo或Taichi Physics）；2) 学习驱动的动力学建模（如Neural Radiance Fields for Dynamics, GRAB: A Generative Radiance Field Model for Human Hands）；3) 粒子系统结合深度学习的工作（如Deep Fluids, Neural Particles）。这些研究主要集中在特定场景或单一材料类型，而本文方法在多材料和多视图受限条件下表现突出。