U-ARE-ME: Uncertainty-Aware Rotation Estimation in Manhattan Environments

从单张图像中估计相机旋转是一项具有挑战性的任务，通常需要深度数据和/或相机内参，这些数据通常在野外视频中不可用。虽然惯性测量单元（IMU）等外部传感器可以帮助解决这个问题，但它们经常会漂移，并且不适用于非惯性参考系。我们提出了U-ARE-ME算法，该算法可以从未校准的RGB图像中估计相机旋转和不确定性。利用曼哈顿世界假设，我们的方法利用单张图像表面法线预测中编码的每像素几何先验，并在SO（3）流形上执行优化。给定一系列图像，我们可以使用每帧旋转估计及其不确定性进行多帧优化，从而实现鲁棒性和时间一致性。我们的实验表明，U-ARE-ME的性能与RGB-D方法相当，并且比基于稀疏特征的SLAM方法更具鲁棒性。我们鼓励读者在https://callum-rhodes.github.io/U-ARE-ME观看附带的视频，以获得我们方法的视觉概述。

该论文旨在解决从单个RGB图像中估计相机旋转的问题，即使没有深度数据和相机内参。

论文提出了一种基于曼哈顿世界假设的方法，利用单图表面法线预测中编码的每个像素的几何先验知识，并在SO(3)流形上进行优化，从而估计相机旋转和不确定性。

论文的实验结果表明，该方法的性能与RGB-D方法相当，并且比基于稀疏特征的SLAM方法更加稳健。作者提供了开源代码和伴随视频，以便更好地理解该方法。

相关研究包括使用深度数据或其他传感器进行旋转估计的方法，以及使用SLAM技术进行相机位姿估计的方法，如ORB-SLAM和DSO。