FLAM: Frame-Wise Language-Audio Modeling

最近的多模态语音-语言模型（ALMs）在文本-音频检索任务中表现出色，但在帧级音频理解方面存在困难。以往的研究通过使用时间感知标签或无监督训练来提升帧级能力，但它们仍然缺乏细粒度标注的能力，无法精确定位事件发生的时间。虽然传统的声学事件检测模型可以精确地定位事件，但它们受限于预定义的类别，在面对真实世界中分布外事件时效果不佳。在本工作中，我们提出了FLAM，这是一种开放词汇表的对比音频-语言模型，能够定位特定的声学事件。FLAM采用了一种内存高效且经过校准的帧级目标函数，并通过逻辑调整来解决训练过程中出现的虚假相关性问题，例如事件依赖性和标签不平衡。为了实现帧级监督，我们利用了一个大规模数据集，其中包含多样化的音频事件、由大语言模型生成的字幕以及模拟数据。实验结果和案例分析表明，FLAM显著提升了开放词汇表下的事件定位能力，同时在全球检索和下游任务中保持了强劲的表现。

该论文试图解决多模态音频-语言模型在细粒度音频事件定位上的不足问题。尽管现有的音频-语言模型在全局检索任务中表现出色，但它们在帧级理解上存在局限性，尤其是在精确定位事件发生时间方面。此外，传统的声音事件检测模型虽然可以精确本地化，但受限于预定义的类别，难以处理现实世界中的未见事件。这是一个具有挑战性的问题，尤其在开放词汇表场景下。

论文提出了一种名为FLAM的开放词汇表对比音频-语言模型，专注于帧级音频事件的定位能力。关键思路是通过引入一种记忆高效且校准的帧级目标函数，并结合logit调整技术来减少训练过程中因事件依赖性和标签不平衡导致的虚假相关性。此外，FLAM利用大规模数据集（包含多样化音频事件、LLM生成的标题和模拟数据）实现帧级监督学习。相比现有方法，FLAM不仅提升了开放词汇表下的事件定位能力，还保持了全局检索任务的高性能。

1. FLAM能够在开放词汇表下精确定位音频事件，突破了传统模型对预定义类别的限制。 2. 提出了一个记忆高效的帧级目标函数，解决了事件依赖性和标签不平衡问题。 3. 使用了大规模且多样化的音频数据集，结合LLM生成的标题和模拟数据进行训练。 4. 实验结果表明，FLAM在开放词汇表定位任务上表现优异，同时在全局检索和其他下游任务中也表现出色。 5. 论文提供了详细的实验设计和案例分析，验证了模型的有效性。遗憾的是，文中未明确提及代码是否开源，但其研究方向为未来工作提供了重要参考，例如进一步优化帧级目标函数或扩展到更多实际应用场景。

近年来，关于音频-语言模型的研究主要集中在以下领域： 1. 多模态音频-文本检索：如AudioCLIP和CLAP等模型，这些模型在全局检索任务中表现出色，但在帧级理解上存在局限。 2. 声音事件检测：如DCASE竞赛中的相关研究，这些模型能够精确本地化声音事件，但受限于预定义类别。 3. 开放词汇表音频理解：如AudioLM和VATT等模型，尝试结合自然语言处理技术扩展音频理解能力，但仍需改进帧级定位性能。 一些相关的研究包括《CLAP: A Unified Audio-Language Pre-training Framework》、《AudioLM: Large-Scale Pre-training for Audio Understanding》以及《Open-Vocabulary Sound Event Detection with Contrastive Learning》。