An intuitive multi-frequency feature representation for SO(3)-equivariant networks

本文介绍了一种等变特征表示方法，用于将三维点映射到高维特征空间，以解决三维视觉算法（如形状重建）仅适用于固定规范旋转输入的限制。该特征表示可以识别三维数据中存在的多个频率，是设计表达力强的三维视觉任务特征的关键。该特征表示可用作Vector Neuron（VN）的输入，结果表明，使用该特征表示，VN可以捕捉更多细节，克服了其原始论文中提出的限制。最近，提出了一种简单的等变网络，即Vector Neuron（VN），可以轻松地与最先进的三维神经网络（NN）体系结构配合使用，但其性能受到限制，因为它仅设计用于使用三维特征，这是无法捕捉三维数据中存在的细节的。

本文旨在解决3D视觉算法中一个常见的问题：需要将输入数据固定在一个规范的旋转角度，限制了算法的应用范围。同时，作者也试图验证使用更高维度的特征表示是否能够提高算法性能。

本文提出了一种新的等变特征表示方法，可以将3D点映射到高维特征空间，能够捕捉到3D数据中的多个频率，从而提高了特征的表达能力。这种特征表示可以作为输入传递给Vector Neuron（VN）算法，从而提高算法性能。

本文的实验结果表明，使用等变特征表示方法可以提高VN算法的性能，捕捉到更多的细节。作者还提供了开源代码和使用的数据集，方便其他研究者进行进一步研究。

近期在这个领域的相关研究包括：《3D Shape Reconstruction from Images in the Frequency Domain》、《Equivariant Neural Networks for 3D Point Clouds》等。