Diffusion 3D Features (Diff3F): Decorating Untextured Shapes with Distilled Semantic Features

我们提出了Diff3F作为一种简单、健壮和不受类别限制的特征描述符，可以用于未纹理化的输入形状（网格或点云）。我们的方法将扩散特征从图像基础模型提取到输入形状上。具体而言，我们使用输入形状生成深度和法线图作为条件图像合成的指导，并在此过程中在2D上生成（扩散）特征，然后将其提升并聚合到原始表面上。我们的关键观察是，即使从输入形状的多视角渲染得到的条件图像生成不一致，相关的图像特征也是稳健的，并且可以直接跨视角聚合。这在不需要额外数据或训练的情况下，在输入形状上产生语义特征。我们在多个基准测试（SHREC'19、SHREC'20和TOSCA）上进行了广泛的实验，并证明我们的特征是语义而不是几何的，可以在同构和非同构相关的形状族之间产生可靠的对应关系。

本论文旨在提出一种简单、健壮且不依赖类别的特征描述符Diff3F，用于计算未纹理化的输入形状（网格或点云）。该方法通过将扩散特征从图像基础模型上提取到输入形状上来实现。论文验证了这种特征描述符的可靠性和有效性。

该论文的关键思路是通过将输入形状转化成深度和法向图，作为条件图像合成的指导，从而在2D图像上产生扩散特征，然后将这些特征提升到原始表面上进行聚合，从而产生语义特征，而不需要额外的数据或训练。与当前领域的研究相比，这种方法是全新的。

该论文的亮点包括：1.使用简单、健壮、不依赖类别的特征描述符Diff3F，能够计算未纹理化的输入形状。2.通过将扩散特征从图像基础模型上提取到输入形状上，产生语义特征，而不需要额外的数据或训练。3.在多个基准测试（SHREC'19、SHREC'20和TOSCA）上进行了广泛的实验，并证明了该特征描述符的可靠性和有效性。4.该论文的方法可以产生语义特征而不是几何特征，从而在同构和非同构相关形状族之间产生可靠的对应关系。

在这个领域中，最近的相关研究有：1. "Unsupervised Learning of Shape and Pose with Differentiable Point Clouds". 2. "Learning to Learn Local Features from Large-scale Data". 3. "Learning Local Shape Descriptors from Part Correspondences with Multi-view Convolutional Networks".