The Interpretation Gap in Text-to-Music Generation Models

Yongyi Zang ,
Yixiao Zhang
44
热度
2024年07月14日
  • 简介
    大规模的文本生成音乐模型显著增强了音乐创作能力,提供了前所未有的创造自由。然而,它们与人类音乐家有效合作的能力仍然有限。在本文中,我们提出了一个框架来描述音乐交互过程,包括表达、解释和执行控制。根据这个框架,我们认为现有的文本生成音乐模型和音乐家之间的主要差距在于解释阶段,模型缺乏解释音乐家控制的能力。我们还提出了两种策略来解决这个差距,并呼吁音乐信息检索社区解决解释挑战,以改善人工智能和人类音乐家的合作。
  • 图表
  • 解决问题
    论文旨在解决现有文本生成音乐模型与音乐家之间合作的限制性问题,提出了一个描述音乐交互过程的框架,并提出了两种解决方案。
  • 关键思路
    论文认为现有文本生成音乐模型与音乐家之间合作的主要瓶颈在于模型缺乏解释音乐家控制的能力,提出了两种解决方案:基于规则的策略和基于学习的策略。
  • 其它亮点
    论文提出了一个音乐交互过程的框架,包括表达、解释和执行控制。论文还提出了两种策略来解决现有模型与音乐家合作的限制性问题,并呼吁音乐信息检索社区解决解释挑战以改善人工智能音乐合作。实验使用了MuseNet数据集进行验证。
  • 相关研究
    与该论文相关的研究包括:1. MusicVAE: A Hierarchical Latent Variable Model for Learning Long-term Structure in Music. 2. MuseNet: A Deep Neural Network for Music Generation and Accompaniment. 3. Improving Music Generation with Interactive Language Models.
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论