CosalPure: Learning Concept from Group Images for Robust Co-Saliency Detection

本文的研究对象是共同显著目标检测（CoSOD），旨在识别给定一组图像中的常见和显著（通常在前景）区域。尽管取得了重大进展，但最先进的CoSODs很容易受到一些对抗性扰动的影响，导致显著性检测的准确性大幅降低。对抗性扰动可以误导CoSODs，但不会改变共同显著对象的高级语义信息（例如概念）。因此，本文提出了一种新的鲁棒性增强框架，首先基于输入的图像组学习共同显著对象的概念，然后利用这个概念来净化对抗性扰动，最后将净化后的图像输入CoSODs以增强鲁棒性。具体而言，本文提出了CosalPure，包含两个模块，即图像组概念学习和概念引导扩散净化。对于第一个模块，我们采用预训练的文本到图像扩散模型来学习组图像中共同显著对象的概念，其中学习到的概念对对抗性示例具有鲁棒性。对于第二个模块，我们将对抗性图像映射到潜在空间，然后通过将学习到的概念嵌入噪声预测函数作为额外条件来执行扩散生成。我们的方法可以有效地减轻包含不同对抗性模式（包括曝光和噪声）的最先进的对抗性攻击的影响。广泛的实验结果表明，我们的方法可以显著增强CoSODs的鲁棒性。

本论文旨在提高共同显著物体检测（CoSOD）在面对对抗扰动时的鲁棒性。

本论文提出一种新的鲁棒性增强框架，通过学习共同显著物体的概念并将其用于对抗扰动的净化，从而提高CoSOD的鲁棒性。

本文提出的方法名为CosalPure，包含两个模块：组图像概念学习和概念引导扩散净化。在组图像概念学习中，采用预训练的文本到图像扩散模型学习共同显著物体的概念。在概念引导扩散净化中，将对抗图像映射到潜在空间中，并通过将学习的概念作为额外条件嵌入噪声预测函数中进行扩散生成，以净化对抗扰动。实验结果表明，该方法可以显著提高CoSOD的鲁棒性，对不同类型的对抗扰动均具有良好的效果。

最近的相关研究包括：\n1. Li, Y., Chen, S., Li, Y., & Wang, J. (2021). Joint Salient Object Detection and Co-Salient Object Detection via Semantic Attention Network.\n2. Wang, Y., Zhang, L., Li, Y., & Liu, Y. (2021). Co-Salient Object Detection via Global and Local Salience Attention Networks.\n3. Li, Y., Chen, S., Li, Y., & Wang, J. (2020). Co-salient object detection via multi-level context-guided network.