TrackAgent: 6D Object Tracking via Reinforcement Learning

解决问题：该论文旨在解决在物体或摄像机移动时跟踪物体6D姿态的问题，这对于许多机器人和增强现实应用非常重要。本文的目标是简化物体跟踪问题，提出一种基于强化学习的点云对齐方法，以有效地解决这个问题。

关键思路：本文的关键思路是将物体跟踪简化为一个基于强化学习的点云对齐任务。相比于当前领域的其他研究，本文提出的方法使用了少量稀疏的3D点云进行训练，而不是需要大量多样化的RGBD序列。同时，本文还将帧间注册与基于物体的恢复相结合，通过强化学习代理来解决两个目标。此外，本文还展示了强化学习代理的不确定性和基于渲染的遮罩传播是有效的重新初始化触发器。

其他亮点：本文的实验设计使用了多个数据集，并且提供了开源代码。此外，本文的方法可以应用于许多机器人和增强现实应用中，并且有望在未来得到更广泛的应用。值得进一步深入研究的是如何将本文的方法与其他物体跟踪技术相结合，以提高跟踪的准确性和效率。

关于作者：Konstantin Röhrl、Dominik Bauer和Markus Vincze分别来自奥地利维也纳大学的机器人感知与认知实验室。他们的代表作包括：Konstantin Röhrl的“Multi-Modal Object Detection and Semantic Segmentation for Autonomous Driving: Datasets, Methods, and Challenges”、Dominik Bauer的“Object Detection in 3D Scenes with RGB-D Data: A Survey”以及Markus Vincze的“Semantic Mapping for Mobile Robotics: A Survey”。

相关研究：其他相关研究包括：“Real-time RGB-D Tracking with Depth Scaling Kernelized Correlation Filters”（Jongwon Choi等，韩国高等科学技术研究院）、“Real-time RGB-D Tracking with Depth-Sensitive Kernelized Correlation Filters”（Jongwon Choi等，韩国高等科学技术研究院）以及“Object Tracking with 2D and 3D Correlation Filters: A Convolutional Neural Network Approach”（Dong Wang等，香港中文大学）。

论文摘要：本文提出了一种使用强化学习进行6D物体追踪的方法。在物体本身或观察相机移动时，追踪物体的6D姿态对于许多机器人和增强现实应用程序非常重要。虽然利用时间先验可以缓解这个问题，但需要特定于物体的知识来恢复追踪丢失的情况。在跟踪任务的严格时间限制下，基于RGB（D）的方法通常在概念上复杂或依赖于启发式运动模型。相比之下，本文提出将物体跟踪简化为一个加强点云（仅深度）对齐任务。这使我们能够使用有限数量的稀疏3D点云从头开始训练一个简化的方法，而不是使用以前作品中需要的大型多样化RGBD序列数据集。我们结合了帧间注册和基于物体的恢复，通过强化学习（RL）代理共同解决两个目标。我们还展示了RL代理的不确定性和基于渲染的掩模传播是有效的重新初始化触发器。

内容中包含的图片若涉及版权问题，请及时与我们联系删除