Motion and Structure from Event-based Normal Flow

从视觉数据中恢复相机运动和场景几何是计算机视觉领域中的一个基本问题。在标准视觉中，其成功归因于特征提取、数据关联和多视角几何的成熟。新出现的神经形态事件相机对使用原始事件数据解决这一基本问题的方法提出了很高的要求。现有的最先进的解决方案通常通过迭代地反转事件数据生成过程来隐式推断数据关联。然而，这些方法的非线性特性限制了它们在实时任务中的适用性，并且恒定运动假设在快速运动下会导致不稳定的结果。为此，我们重新思考问题的表述方式，使其更符合事件相机的微分工作原理。我们展示了基于所提出的几何误差项，事件驱动的法向流可以用作求解涉及瞬时一阶运动学和场景几何的一类几何问题的替代方法，而不是使用全流。此外，我们开发了一个快速的线性求解器和一个基于所提出的几何误差项的连续时间非线性求解器。在合成和真实数据上的实验表明，我们的线性求解器在精度和效率方面优于现有的非线性求解器，并表明它作为现有非线性求解器的初始化方法具有补充特征。此外，我们的连续时间非线性求解器表现出了适应运动突变的出色能力，因为它不依赖于恒定运动假设。

解决问题：本文试图解决从视觉数据中恢复相机运动和场景几何的问题，特别是针对神经形态事件相机的数据进行处理。

关键思路：本文提出了一种基于事件相机法线流的几何误差项，用于解决涉及瞬时一阶运动和场景几何的几何问题。此外，文章还开发了一个快速的线性求解器和一个基于连续时间的非线性求解器。

其他亮点：实验结果表明，本文提出的线性求解器在准确性和效率方面优于现有的非线性求解器，并且作为现有非线性求解器的初始化方法具有互补特性。此外，本文提出的连续时间非线性求解器在适应运动突变方面表现出优异的能力。

相关研究：近年来，还有其他相关研究，例如“Event-based Visual Inertial Odometry using a Non-Linear Optimization Framework”和“Event-based 6-DOF Object Pose Tracking with a Dynamic Vision Sensor”。