ActiveRIR: Active Audio-Visual Exploration for Acoustic Environment Modeling

环境声学模型代表了室内环境下声音如何通过物理特性转换，适用于任何给定的源/接收器位置。构建声学模型的传统方法包括在空间中密集采集大量声学数据，或依赖场景几何特征智能选择声学数据采样位置，这些方法耗时费力。我们提出了主动声学采样，这是一项新的任务，通过移动代理配备视觉和声学传感器，实时构建未映射环境的环境声学模型和占用地图。我们引入了ActiveRIR，一种强化学习（RL）策略，它利用音频-视觉传感器流的信息来指导代理导航和确定最佳声学数据采样位置，从而从最少的声学样本中产生高质量的环境声学模型。我们使用基于环境声学模型中信息增益的新型RL奖励来训练我们的策略。在来自最先进的声学模拟平台的不同未见室内环境中进行评估，ActiveRIR优于一系列方法，包括基于空间新颖性和视觉探索的传统导航代理以及现有的最先进方法。

如何在未知环境中高效地构建环境声学模型？

使用一个配备视听传感器的移动机器人，通过RL策略来指导机器人导航和确定最佳声学数据采样位置，从而在最小的声学样本集下构建高质量的环境声学模型。

论文提出了ActiveRIR，一种基于信息增益的RL奖励，用于训练机器人的导航策略和声学数据采样位置选择。实验表明，ActiveRIR在多个未知室内环境中的表现优于传统导航代理和现有的最先进方法。

近期的相关研究包括使用视觉探索和深度学习方法来构建室内声学模型的研究，如《Learning to See, Hear, and Act in Unseen Environments: Autonomous Multimodal Scene Understanding》和《Multimodal Learning for Indoor Sound Scene Analysis》。