Learning Pixel-wise Continuous Depth Representation via Clustering for Depth Completion

深度补全一直是计算机视觉领域的一个长期难题，近年来，基于分类的方法取得了巨大进展。然而，大多数现有的基于分类的方法依赖于预定义的像素共享和离散深度值作为深度类别。这种表示方法无法捕捉符合真实深度分布的连续深度值，导致边界区域的深度模糊。为了解决这个问题，我们从聚类的角度重新审视深度补全，并提出了一种新的基于聚类的框架CluDe，它专注于学习像素级和连续深度表示。CluDe的关键思想是通过真实深度分布驱动，将像素共享和离散深度表示迭代地更新为其相应的像素级和连续深度表示。具体而言，CluDe首先利用深度值聚类来学习一组深度中心作为深度表示。虽然这些深度中心是像素共享和离散的，但与预定义的深度类别相比，它们更符合真实深度分布。然后，CluDe估计这些深度中心的偏移量，使其能够沿深度分布的深度轴进行动态调整，生成像素级和连续深度表示。大量实验证明，CluDe成功地通过利用像素级和连续深度表示减少了物体边界周围的深度模糊。此外，CluDe在VOID数据集上实现了最先进的性能，并在KITTI数据集上优于基于分类的方法。

解决问题：论文旨在解决深度完成中的深度模糊问题，通过学习像素级连续深度表示来改进现有的基于分类的方法。

关键思路：CluDe是一种基于聚类的框架，通过学习像素级连续深度表示来解决深度模糊问题。CluDe首先使用深度值聚类来学习一组深度中心作为深度表示，然后估计这些深度中心的偏移量，使它们沿深度分布的深度轴动态调整以生成像素级和连续深度表示。

亮点：CluDe在VOID数据集上取得了最先进的性能，并在KITTI数据集上优于基于分类的方法。实验表明，CluDe通过使用像素级和连续深度表示成功减少了物体边界周围的深度模糊。论文提供了开源代码。

相关研究：最近的相关研究包括基于深度学习的深度完成方法，如DeepLiDAR和DORN。