MRC-Net: 6-DoF Pose Estimation with MultiScale Residual Correlation

我们提出了一种单次拍摄方法，通过单个RGB图像和可用的3D计算机辅助设计（CAD）模型来确定物体的6自由度姿态。我们的方法被称为MRC-Net，包括两个阶段。第一阶段进行姿态分类并在分类的姿态下渲染3D物体。第二阶段进行回归以预测类内细粒度残差姿态。连接两个阶段的是一种新颖的多尺度残差相关（MRC）层，它捕捉输入图像和第一阶段渲染之间的高低级别对应关系。MRC-Net采用具有共享权重的连体网络来学习输入和渲染图像的嵌入。为了减少在对称对象上预测离散姿态类标签时的歧义，我们使用软概率标签来定义第一阶段的姿态类。我们证明了最先进的准确性，优于所有竞争的基于RGB的方法，在四个具有挑战性的BOP基准数据集上：T-LESS，LM-O，YCB-V和ITODD。我们的方法是非迭代的，不需要复杂的后处理。

该论文旨在通过使用单个RGB图像和可用的3D CAD模型，提出一种解决物体6自由度姿态估计问题的单次方法。这是一个新问题，因为以前的方法需要使用多个图像或深度图像才能估计物体的6自由度姿态。

论文提出了一种名为MRC-Net的方法，它包括两个阶段：姿态分类和细粒度残差姿态回归。这两个阶段之间连接着一种新颖的多尺度残差相关层（MRC层），用于捕获输入图像和第一阶段渲染之间的高低级别对应关系。MRC-Net使用具有共享权重的孪生网络来学习输入和渲染图像的嵌入。

该论文的亮点包括：在对称物体上使用软概率标签来定义姿态类别，以减少预测离散姿态类别时的歧义；在四个具有挑战性的BOP基准数据集上，MRC-Net展现了最先进的精度，优于所有竞争的基于RGB的方法；该方法是非迭代的，不需要复杂的后处理。此外，该论文还介绍了实验设计和使用的数据集。

在这个领域中，最近的相关研究包括：PoseCNN、PVNet、DPOD等。