LOP-Field: Brain-inspired Layout-Object-Position Fields for Robotic Scene Understanding

空间认知赋予了动物非常高效的导航能力，这在很大程度上依赖于对空间环境的场景级别理解。最近发现，老鼠大脑后枕皮层的神经群体对空间布局的调整比对场景中的物体更加敏感。受到对局部场景中空间布局的表示的启发，我们提出了LOP-Field，实现了布局-对象-位置（LOP）关联，以模拟机器人场景理解的分层表示。通过基础模型和隐式场景表示的支持，实现了神经场作为机器人场景记忆，存储了场景的可查询表示，包括位置、对象和布局信息。为了验证建立的LOP关联，该模型被测试用于从三维位置推断区域信息，达到了超过88%的平均准确率。同时，与最先进的定位方法相比，使用区域信息的所提出的方法在文本和RGB输入方面实现了改进的对象和视图定位结果。

本篇论文旨在解决机器人场景理解中的空间认知问题，并提出了一种基于LOP（Layout-Object-Position）关联的层次化表征方法。

论文提出了LOP-Field模型，将场景分为不同的区域，并将位置、对象和布局信息储存在神经场中，从而实现对场景的存储和查询。

实验结果表明，该模型可以从3D位置中推断区域信息，并且在文本和RGB输入的情况下，相比于现有的定位方法，可以实现更好的对象和视角定位结果。

近期的相关研究包括：《A Survey of Scene Representation and Encoding in Deep Learning》、《Neural Scene Graphs for Dynamic Scenes》等。