Computer Audition: From Task-Specific Machine Learning to Foundation Models

基础模型（FMs）在计算机听觉范畴内的各种任务中，正日益引领最近的进展。它们相对于传统流程具有多个优势，包括在单个模型中整合多个任务、利用其他模式的知识以及与人类用户进行便捷交互等。自然地，这些优势在音频社区内引起了极大的兴奋，并引发了一波早期尝试，旨在建立新的通用音频基础模型。在本文中，我们概述了计算机音频分析，从传统流程转向听觉基础模型。我们的工作重点介绍了支撑这些模型的关键操作原理，并展示了它们如何适应音频社区以前分别处理的多个任务。

本文试图探讨计算机听觉领域从传统流水线向基础模型的转变，以及如何在单个模型中整合多个任务。

本文介绍了基础模型的操作原则，并展示了它们如何适应之前单独处理的多个音频任务。

本文的亮点包括基础模型的多任务整合能力、与其他模态的知识交互以及与人类用户的互动。文章还介绍了一些相关的数据集和开源代码，并提出了一些值得进一步研究的问题。

在这个领域中，最近的相关研究包括《A Survey of Deep Learning for Audio Signal Processing》、《Deep Learning for Audio Signal Processing: A review》等。