Zero-Shot Scene Change Detection

2024年06月17日
  • 简介
    我们提出了一种新颖的无需训练的场景变化检测方法。我们的方法利用跟踪模型,在识别共同物体和检测新的或缺失的物体的同时,本质上执行视频连续帧之间的变化检测。具体而言,我们的方法利用跟踪模型的变化检测效果,通过输入参考和查询图像而不是连续帧来实现。此外,我们专注于两个输入图像之间的内容差距和风格差距,并通过提出自适应内容阈值和风格桥接层来解决这两个问题。最后,我们将我们的方法扩展到视频,利用丰富的时间信息,增强场景变化检测性能。我们通过各种实验比较了我们的方法和基线。虽然现有的基线往往只专门针对训练领域进行专门化,但我们的方法在各种领域都表现出一致的性能,证明了我们方法的竞争力。
  • 作者讲解
  • 图表
  • 解决问题
    本文旨在提出一种新的、无需训练的场景变化检测方法,通过跟踪模型识别常见物体并检测新的或丢失的物体,从而利用跟踪模型的变化检测效果。同时,本文还关注两个输入图像之间的内容差距和风格差距,并提出自适应内容阈值和风格桥接层来解决这些问题。最后,本文将方法扩展到视频中,利用丰富的时间信息增强场景变化检测性能。
  • 关键思路
    本文的关键思路是利用跟踪模型的变化检测效果,通过输入参考和查询图像而不是连续帧来进行场景变化检测。同时,通过自适应内容阈值和风格桥接层来解决两个输入图像之间的内容差距和风格差距。
  • 其它亮点
    本文通过各种实验比较了该方法和基线方法的性能表现,证明了该方法的竞争力。与现有的基于训练的基线方法相比,该方法在各种领域中表现出一致的性能。本文使用了多个数据集进行实验,并提供了开源代码。本文的方法还扩展到了视频中,利用时间信息增强了场景变化检测性能。
  • 相关研究
    最近的相关研究包括:'Scene Change Detection in Videos Using Deep Neural Networks','Real-Time Scene Change Detection in Streaming Videos','Scene Change Detection in Surveillance Videos Using Deep Learning Techniques'等。
许愿开讲
PDF
原文
点赞 收藏
向作者提问
NEW
分享到Link

提问交流

提交问题,平台邀请作者,轻松获得权威解答~

向作者提问