6DoF SELD: Sound Event Localization and Detection Using Microphones and Motion Tracking Sensors on self-motioning human

我们旨在使用可穿戴设备对移动的人（如行人）进行声音事件定位和检测（SELD）。传统的SELD任务仅处理静态位置上的麦克风阵列。然而，对于可穿戴麦克风阵列，需要考虑三个旋转和三个平移自由度（6DoF）的自我运动。仅使用固定位置的麦克风阵列数据集训练的系统将无法适应与自我运动相关的声音事件的快速相对运动，导致SELD性能的降级。为了解决这个问题，我们设计了6DoF SELD数据集，这是第一个考虑麦克风自我运动的SELD数据集。此外，我们提出了一个多模式SELD系统，联合利用音频和运动跟踪传感器信号。期望这些传感器信号能够帮助系统根据当前自我运动状态找到有用的声学线索进行SELD。我们的数据集上的实验结果表明，所提出的方法通过一种基于传感器信号的声学特征提取机制有效地提高了SELD性能。

论文旨在使用可穿戴设备进行声音事件定位和检测(SELD)，考虑到麦克风的自我运动，而传统的SELD任务只涉及静态位置的麦克风阵列。因此，论文试图解决可穿戴设备中的6DoF SELD问题。

论文提出了一种多模式SELD系统，联合使用音频和运动跟踪传感器信号，以帮助系统基于当前的自我运动状态找到有用的声学线索。

论文设计了6DoF SELD数据集，是第一个考虑到麦克风自我运动的SELD数据集。实验结果表明，所提出的方法可以有效地提高SELD性能，并具有提取受传感器信号调节的声学特征的机制。

在这个领域中，最近的相关研究包括：1）使用深度学习进行SELD的研究；2）使用多通道麦克风进行SELD的研究；3）使用传感器信号辅助SELD的研究。