Aligning Sight and Sound: Advanced Sound Source Localization Through Audio-Visual Alignment

近期关于基于学习的声源定位的研究主要集中在定位性能方面，然而，先前的工作和现有的基准测试忽略了一个关键方面：跨模态交互，这对于交互式声源定位至关重要。跨模态交互对于理解语义匹配或不匹配的视听事件非常重要，例如无声物体或屏幕外的声音。本文首先全面研究了现有方法、基准测试、评估指标和跨模态理解任务的跨模态交互。然后，我们确定了以前研究的局限性，并做出了几项贡献以克服这些局限性。首先，我们引入了一个新的交互式声源定位合成基准。其次，我们引入了新的评估指标，以严格评估声源定位方法，重点是准确评估定位性能和跨模态交互能力。第三，我们提出了一种带有跨模态对齐策略的学习框架，以增强跨模态交互。最后，我们一起评估交互式声源定位和辅助跨模态检索任务，以全面评估跨模态交互能力，并对竞争方法进行基准测试。我们的新基准测试和评估指标揭示了声源定位研究中以前被忽视的问题。我们提出的新方法，通过增强跨模态对齐，显示出更优秀的声源定位性能。本研究提供了迄今为止最全面的声源定位分析，使用新的和标准的评估指标，在现有和新的基准测试上对竞争方法进行了广泛的验证。

论文旨在解决交互式声源定位中的跨模态交互问题，并提出了新的基准测试和评估指标。

论文提出了一种具有跨模态对齐策略的学习框架，以增强交互式声源定位的跨模态交互能力。

论文提出了一个新的合成基准测试和评估指标，以全面评估声源定位方法的性能和跨模态交互能力。论文的方法在实验中表现出更好的声源定位性能。论文还评估了辅助跨模态检索任务，以全面评估跨模态交互能力。

最近的相关研究包括：'Sound Source Localization with Fine-Grained Head Orientation Estimation', 'Audio-Visual Object Search with Deep Reinforcement Learning'等。