CoPlay: Audio-agnostic Cognitive Scaling for Acoustic Sensing

声学感应技术利用智能设备上的扬声器和麦克风，在健康监测、手势接口和成像等多个应用领域具有巨大潜力。然而，在声学感应的持续研究和开发中，经常忽略一个问题：当同一扬声器同时用于感应和其他传统应用（如播放音乐）时，可能会导致干扰，从而使其在实际应用中不实用。强烈的超声波感应信号与音乐混合会使扬声器的混音器过载。目前的解决方案是削波或降低音量，这两种方法都会影响音乐播放质量，同时也会影响感应范围和准确性。为了解决这个问题，我们提出了CoPlay，一种基于深度学习的优化算法，以认知地适应感应信号。它可以：1）在同时播放音乐的可用带宽内最大化感应信号幅度，以优化感应范围和准确性；2）最小化任何可能影响音乐播放的频率失真。在这项工作中，我们设计了一个深度学习模型，并测试了常见类型的感应信号（正弦波或频率调制连续波FMCW）作为输入，同时加入各种不确定的音乐和语音。首先，我们评估了模型的性能，以展示生成信号的质量。然后，我们在实际应用中进行了下游声学感应任务的现场研究。一项涉及12名用户的研究证明，使用我们适应的信号进行呼吸监测和手势识别可以达到与没有同时播放音乐的情况下相似的准确性，而削波或降低音量则表现出更差的准确性。定性研究还表明，与传统的削波或降低音量方法不同，音乐播放质量不会降低。

本论文旨在解决同时进行声音传感和传统应用（如播放音乐）时，相同的扬声器可能会在两者之间造成干扰的问题，提出了一种基于深度学习的优化算法CoPlay来智能适应传感信号，最大化传感信号幅度，同时最小化对音乐播放的影响。

CoPlay算法可以优化传感范围和准确性，并减少对音乐播放的影响，通过深度学习模型，将常见的传感信号作为输入，适应不同类型的音乐和语音。

论文设计了深度学习模型，并在常见的传感信号（正弦波或FMCW）上进行了测试，证明了生成信号的质量。在真实世界中的下游声学传感任务的现场研究中，12名用户的研究证明，使用我们适应的信号进行呼吸监测和手势识别，达到了与无并发音乐场景相似的准确性，而裁剪或降低信号则表现出更差的准确性。定性研究还表明，与传统的裁剪或降低方法不同，音乐播放质量没有降低。

最近的相关研究还包括使用深度学习进行音频处理的方法，例如“Deep Learning for Audio Signal Processing: A Review of Recent Research”，以及在嵌入式设备上进行声音传感的研究，例如“Acoustic Sensing on Smartphones for Context-Aware Apps: Trends and Challenges”。