Motion-prior Contrast Maximization for Dense Continuous-Time Motion Estimation

当前的光流和点追踪方法在很大程度上依赖于合成数据集。事件相机是一种新型的视觉传感器，在具有挑战性的视觉条件下具有优势，但由于当前事件模拟器的限制，最先进的基于帧的方法不能轻易地适应事件数据。我们引入了一种新颖的自监督损失，将对比度最大化框架与像素级轨迹的非线性运动先验相结合，并提出了一种有效的解决非线性轨迹和事件之间高维分配问题的方法。我们在两种场景下证明了其有效性：在密集的连续时间运动估计中，我们的方法将合成训练模型在真实世界数据集EVIMO2上的零样本性能提高了29%。在光流估计中，我们的方法将简单的UNet提升到在DSEC光流基准测试中实现了自监督方法的最先进性能。我们的代码可在https://github.com/tub-rip/MotionPriorCMax上获得。

本文试图解决在使用事件相机进行光流和点追踪时，由于当前事件模拟器的局限性，现有基于帧的方法不能轻易地适应事件数据的问题。

本文提出了一种新的自监督损失方法，将对比最大化框架与非线性运动先验相结合，并提出了一种有效的解决非线性轨迹和事件之间高维度分配问题的方法。

本文的方法在两个场景下进行了验证：在密集连续时间运动估计中，本文的方法提高了在真实世界数据集EVIMO2上合成训练模型的零-shot性能29％；在光流估计中，本文的方法使简单的UNet在DSEC光流基准测试中实现了自监督方法的最佳性能。本文的代码已在GitHub上开源。

相关研究包括：1.使用事件相机进行光流估计的研究；2.使用对比最大化框架进行自监督学习的研究。