SOAF: Scene Occlusion-aware Neural Acoustic Field

本文解决了在室内场景中沿任意轨迹进行新视角音视频合成的问题，给定场景在其他已知轨迹下的音视频记录。现有方法常常忽略房间几何形状对声音传播的影响，特别是墙体遮挡，使得它们在多房间环境下的准确性较低。在本文中，我们提出了一种新方法，称为场景遮挡感知声场（SOAF），用于准确的声音生成。我们的方法使用距离感知参数声传播建模推导出声能场的先验知识，然后基于从输入视频中学习到的场景透射率进行转换。我们使用斐波那契球提取以接收器为中心的局部声学场特征，利用方向感知的注意机制为新视角生成双耳音频。在实际数据集RWAVS和合成数据集SoundSpaces上的广泛实验表明，我们的方法在音频生成方面优于以前的最先进技术。项目页面：https://github.com/huiyu-gao/SOAF/。

本论文旨在解决室内场景中的声音传播问题，特别是墙体遮挡对声音传播的影响，提出了一种新的方法SOAF来生成准确的声音。

该方法使用距离感知的参数声传播模型来推导声能场的先验，并根据输入视频学习场景透过率进行转换。使用斐波那契球面提取接收器周围的局部声场特征，使用方向感知的注意机制生成新视角的双耳声音。

论文使用真实数据集RWAVS和合成数据集SoundSpaces进行了广泛的实验，证明了该方法在音频生成方面优于以前的最新技术。论文提供了开源代码并且值得进一步研究。

最近的相关研究包括：《Deep Audio-Visual Scene-Aware 3-D Object Localization》、《Audio-Visual Scene-Aware Dialog》等。