LLM-AD: Large Language Model based Audio Description System

音频描述（AD）的发展是使视频内容更具可访问性和包容性的重要一步。传统上，AD的制作需要大量熟练的劳动力，而现有的自动化方法仍需要广泛的培训来整合多模态输入，并将输出从字幕样式调整为AD样式。在本文中，我们介绍了一种自动化AD生成流程，利用了GPT-4V（ision）强大的多模态和指令跟踪能力。值得注意的是，我们的方法采用现成的组件，消除了额外培训的需要。它生成的AD不仅符合已建立的自然语言AD生产标准，而且还通过基于跟踪的角色识别模块在帧之间保持上下文一致的角色信息。对MAD数据集的彻底分析表明，我们的方法在自动化AD制作方面实现了与基于学习的方法相当的性能，这得到了CIDEr得分20.5的证实。

论文旨在介绍一种自动化生成音频描述的方法，该方法利用GPT-4V(ision)的多模态和指令遵循能力，消除了训练的需要，同时保持上下文一致的角色信息。这种方法是否能够与基于学习的方法相媲美？

论文提出了一种自动化生成音频描述的管道，利用GPT-4V(ision)的多模态和指令遵循能力，同时使用跟踪技术识别角色信息，可以消除传统音频描述制作所需的大量技能劳动和现有自动化方法所需的繁琐训练。

论文使用MAD数据集进行了全面分析，证明了该方法在自动化AD生成方面的性能与基于学习的方法相当，具有很高的CIDEr分数。该方法使用现有的组件，无需额外的训练，并且符合已建立的自然语言AD制作标准，同时保持上下文一致的角色信息。

最近的相关研究包括：1.《Multimodal Transformer for Unaligned Multimodal Language Sequences》；2.《Multimodal Transformer for Multimodal Language Processing》；3.《Audio Captioning with Fine-Grained Entity Description》等。