Soft Masked Transformer for Point Cloud Processing with Skip Attention-Based Upsampling

点云处理方法在特征层面上利用局部和全局点特征为下游任务提供服务，但它们经常忽视编码阶段中点云固有的任务级上下文。我们认为将任务级信息整合到编码阶段可以显著提高性能。为此，我们提出了SMTransformer，它通过利用从任务级查询和键生成的软掩码来学习注意权重，将任务级信息整合到基于向量的Transformer中。此外，为了促进高级任务（如分割）中编码和解码层之间特征的有效通信，我们引入了基于跳跃注意的上采样块。该块动态融合来自编码和解码层的各种分辨率点的特征。为了缓解由于上述块的复杂性导致的网络参数和训练时间的增加，我们提出了一种新颖的共享位置编码策略。该策略允许各种Transformer块在相同的分辨率点上共享相同的位置信息，从而减少网络参数和训练时间而不影响准确性。在多个数据集上与现有方法的实验比较表明，SMTransformer和基于跳跃注意的上采样在点云处理任务中（包括语义分割和分类）的有效性。特别是在S3DIS Area 5和SWAN数据集上实现了73.4％和62.4％的mIoU的最新语义分割结果。

本论文旨在解决点云处理中忽略任务层上下文信息的问题，提出一种将任务层信息融入编码阶段的方法，以提高性能。

SMTransformer是本论文提出的方法，它将任务层信息融入基于向量的transformer中，通过利用从任务层查询和关键字生成的软掩码来学习注意力权重。此外，为了在高级任务（例如分割）中促进编码和解码层之间的有效通信，论文引入了基于跳过注意的上采样块，它动态地融合来自编码和解码层的各种分辨率点的特征。

SMTransformer和基于跳过注意的上采样块在点云处理任务中表现出色，在多个数据集上实现了最先进的语义分割结果。论文还提出了一种新颖的共享位置编码策略，以减少网络参数和训练时间。论文的实验设计详细，使用了多个数据集，同时开源了代码。

在点云处理领域，最近还有一些相关研究。例如，PointNet、PointNet++、DGCNN等。