SOAF: Scene Occlusion-aware Neural Acoustic Field

本文解决了在室内场景中沿任意轨迹进行新视角音视频合成的问题，给定场景其他已知轨迹的音视频记录。现有方法经常忽略房间几何形状，特别是墙壁对声音传播的遮挡效应，使得它们在多房间环境中的准确性较低。在这项工作中，我们提出了一种称为场景遮挡感知声场（SOAF）的新方法，用于准确的声音生成。我们的方法使用距离感知参数声传播建模推导声能场的先验，然后基于从输入视频中学习到的场景透射率进行转换。我们使用斐波那契球从接收器周围的局部声场提取特征，利用方向感知的注意机制为新视角生成双耳音频。对真实数据集RWAVS和合成数据集SoundSpaces的广泛实验表明，我们的方法在音频生成方面优于先前的最先进技术。项目页面：https://github.com/huiyu-gao/SOAF/。

本论文旨在解决室内场景中声音传播的准确建模问题，特别是在多房间环境中，现有方法经常忽略房间几何学对声音传播的遮挡效应，导致精度不高。

论文提出了一种新的方法，称为Scene Occlusion-aware Acoustic Field (SOAF)，通过距离感知的参数声传播建模，得出声能场的先验，并基于输入视频学习到的场景透射率进行转换。然后使用Fibonacci球从接收器中心提取局部声场特征，通过方向感知的注意机制生成新视角的双耳声音。

论文在真实数据集RWAVS和合成数据集SoundSpaces上进行了广泛实验，结果表明我们的方法在音频生成方面优于以前的最先进技术。同时，作者还开源了代码，方便其他研究人员使用和拓展。

在这个领域中，最近的相关研究包括：Neural Room Acoustic Modeling Using Geometry-Aware Sound Propagation（ICLR2021）和SoundSpaces: A Scalable Platform for Acoustic Scenes and Synthetic Data（ICLR2020）。