Object Dynamics Modeling with Hierarchical Point Cloud-based Representations

用神经网络建模物体动力学是一个具有众多应用的重要问题。最近的研究大多基于图神经网络。然而，物理发生在三维空间中，几何信息在模拟物理现象中可能起着重要作用。在这项工作中，我们提出了一种基于连续点卷积的新型U-net架构，它自然地嵌入了来自三维坐标的信息，并允许使用已建立的下采样和上采样过程进行多尺度特征表示。下采样点云中的瓶颈层导致更好的长程交互建模。此外，点卷积的灵活性使我们的方法可以推广到从网格顶点稀疏采样的点，并在网格面上的重要交互点上动态生成特征。实验结果表明，我们的方法显著改善了现有技术，特别是在需要准确的重力或碰撞推理的情况下。

本文旨在解决使用神经网络建模物体动力学的问题，特别是在三维空间中，考虑几何信息对于建模物理现象的重要性。

本文提出了一种基于连续点卷积的新型U-Net架构，自然地嵌入了三维坐标信息，并允许使用已建立的下采样和上采样过程进行多尺度特征表示。下采样点云中的瓶颈层有助于更好地建模长程相互作用。此外，点卷积的灵活性使得我们的方法可以推广到从网格顶点稀疏采样的点，并在网格面上的重要交互点动态生成特征。

本文的实验结果表明，我们的方法在需要准确的重力或碰撞推理的情况下显著改进了现有技术水平。此外，本文还使用了多个数据集进行了实验，并提供了开源代码。

最近的相关研究主要基于图神经网络。例如，标题为“Dynamic Graph CNN for Learning on Point Clouds”的论文提出了一种基于动态图卷积神经网络的点云分类方法。