Orient Anything V2: Unifying Orientation and Rotation Understanding

本研究提出了Orient Anything V2，这是一种增强的基础模型，能够统一理解单张或成对图像中物体的三维朝向与旋转。在Orient Anything V1（通过唯一一个正面定义朝向）的基础上，V2进一步扩展了能力，可处理具有多种旋转对称性的物体，并能直接估计物体间的相对旋转。这些改进得益于四项关键技术突破：1）利用生成模型合成的大规模3D资产，确保了广泛的类别覆盖和均衡的数据分布；2）一种高效的“模型参与循环”的标注系统，能够稳健地为每个物体识别出0到N个有效的正面方向；3）一种考虑对称性且适配周期性分布的拟合目标函数，可捕捉所有可能的正向朝向，有效建模物体的旋转对称性；4）一种多帧架构，能够直接预测物体之间的相对旋转。大量实验表明，Orient Anything V2在11个广泛使用的基准测试上，在朝向估计、6DoF位姿估计和物体对称性识别任务中均取得了最先进的零样本性能。该模型展现出强大的泛化能力，显著拓展了朝向估计在各类下游任务中的应用范围。

论文旨在解决从单张或成对图像中统一理解物体3D朝向与旋转的问题，特别是针对具有多样旋转对称性的物体。传统方法通常假设每个物体只有一个唯一的前向面，难以处理对称或无明确前后区分的物体，因此无法准确估计其3D方向和相对旋转。这是一个在零样本设定下仍具挑战性的问题，尤其在实际应用中需要广泛泛化能力时。

Orient Anything V2 提出了一种统一建模物体3D朝向与相对旋转的增强型基础模型。其核心创新在于：1）引入生成模型合成的大规模3D资产以提升类别覆盖与数据平衡；2）设计模型参与的高效标注系统，能识别0到N个有效前向面；3）提出对称感知的周期性分布拟合目标函数，显式建模物体的旋转对称性；4）采用多帧架构直接预测物体间的相对旋转。相比V1及现有方法，该模型首次实现了对任意对称性物体的朝向联合建模，并支持跨图像的相对姿态估计。

实验在11个广泛使用的基准上验证了模型的零样本性能，在3D朝向估计、6DoF位姿估计和物体对称性识别任务上均达到SOTA。模型展现出极强的泛化能力，适用于多种下游任务。研究使用了由生成模型构建的大规模合成3D数据集，并开发了闭环的模型-in-the-loop标注流程。目前尚未提及代码是否开源，但其数据构造与训练范式为后续研究提供了新路径，尤其是在利用生成式AI构建高质量3D感知数据方面值得深入探索。

1. 'Orient Anything: Unifying 3D Orientation Understanding from Images' (CVPR 2024) 2. 'Equivariant 3D Pose Estimation via Implicit Correspondences' (ICCV 2023) 3. 'Self-Supervised 3D Object Pose Estimation from Videos' (NeurIPS 2023) 4. 'Category-Level Object Pose Estimation with Rotation Equivariant Representations' (CVPR 2023) 5. 'Synthetic Data for 3D Vision: A Survey' (TPAMI 2024)