Salient Object Detection From Arbitrary Modalities

为了实现理想的显著性预测，在许多实际应用中，显著目标检测（SOD）算法的输入类型和数量可能会动态变化。然而，现有的SOD算法主要设计或训练用于一种特定类型的输入，无法推广到其他类型的输入。因此，需要事先准备更多类型的SOD算法来处理不同类型的输入，这将带来巨大的硬件和研究成本。不同的是，在本文中，我们提出了一种新类型的SOD任务，称为任意模态SOD（AM SOD）。AM SOD最突出的特点是模态类型和模态数量将是任意或动态变化的。前者意味着AM SOD算法的输入可以是任意模态，例如RGB、深度，甚至它们的任意组合。而后者则表明，随着输入类型的变化，输入可能具有任意数量的模态，例如单模态RGB图像、双模态RGB-深度（RGB-D）图像或三模态RGB-深度-热（RGB-D-T）图像。因此，本文提出了一种初步的解决方案，即模态切换网络（MSN）。特别地，首先设计了一种模态切换特征提取器（MSFE），通过引入一些模态指示器有效地从每个模态中提取判别特征，这将生成一些用于模态切换的权重。随后，提出了一种动态融合模块（DFM），基于一种新颖的Transformer结构自适应地融合来自可变数量的模态的特征。最后，构建了一个名为AM-XD的新数据集，以促进对AM SOD的研究。广泛的实验表明，我们的AM SOD方法可以有效地应对输入模态类型和数量的变化，实现鲁棒的显著目标检测。

本论文旨在解决现有SOD算法只能针对特定输入类型的问题，提出Arbitrary Modality SOD (AM SOD)任务，旨在处理任意类型和数量的输入模态。

论文提出了一种解决上述问题的解决方案，即模态切换网络(MSN)，包括模态切换特征提取器(MSFE)和动态融合模块(DFM)，并提出了一种新的数据集AM-XD。

论文的实验结果表明，提出的AM SOD方法可以有效地处理输入模态类型和数量的变化，具有较好的鲁棒性。论文还介绍了使用的数据集和实验设计，并提供了开源代码。

最近的相关研究包括：'R3Net: Recurrent Residual Refinement Network for Saliency Detection'，'BASNet: Boundary-Aware Salient Object Detection'等。