A Toolchain for Comprehensive Audio/Video Analysis Using Deep Learning Based Multimodal Approach (A use case of riot or violent context detection)

本文提出了一种利用基于深度学习的多模态方法进行全面音视频分析的工具链。为此，进行了不同的特定任务，包括语音转文本（S2T）、声学场景分类（ASC）、声学事件检测（AED）、视觉对象检测（VOD）、图像字幕生成（IC）和视频字幕生成（VC），并将它们整合到工具链中。通过结合各个任务并分析从输入视频中提取的音频和视觉数据，该工具链提供了各种基于音视频的应用程序：两个通用的音视频聚类应用程序、全面的音视频摘要和一个特定的骚乱或暴力情境检测应用程序。此外，该工具链提供了一种灵活且适应性强的架构，可有效地集成新模型以进一步进行基于音视频的应用程序。

提出了一个基于深度学习的多模态工具链，旨在进行全面的音视频分析。

通过结合多个特定任务，包括语音转文本、声音场景分类、声音事件检测、视觉对象检测、图像字幕和视频字幕，从音频和视频数据中提取特征，实现多种基于音视频的应用程序。

论文提出的工具链具有灵活性和适应性，可以有效地集成新模型以实现更多的音视频应用程序。同时，还提出了两个通用的音视频聚类应用程序、全面的音视频摘要以及一个特定的暴乱或暴力上下文检测应用程序。

最近的相关研究包括《Deep Learning for Audio Signal Processing》、《Deep Learning for Visual Understanding: A Review》、《Multimodal Deep Learning: A Survey》等。