Amuse: Human-AI Collaborative Songwriting with Multimodal Inspirations

歌曲创作通常受到多模态灵感的驱动，例如图像、叙事或现有音乐的影响，然而目前的音乐人工智能系统尚未能支持创作者将这些多模态输入融入其创作过程。我们推出了Amuse，这是一款歌曲创作助手，能够将多模态（图像、文本或音频）输入转化为和弦进程，并可以无缝地融入创作者的创作过程中。Amuse的一个关键特性是它在缺乏配对的多模态输入与和弦数据集的情况下，仍能生成与音乐关键词相关的连贯和弦的新方法。具体来说，我们提出了一种利用多模态大型语言模型（LLMs）将多模态输入转换为带噪声的和弦建议，并使用单模态和弦模型来过滤这些建议的方法。一项针对歌曲创作者的用户研究表明，Amuse有效地支持了将多模态想法转化为连贯的音乐建议，增强了用户在整个创作过程中的自主性和创造力。

该论文试图解决当前音乐AI系统无法有效支持创作者将多模态（如图像、文本或音频）灵感融入歌曲创作过程的问题。这确实是一个新问题，因为现有的音乐AI系统主要集中在单一模态的输入上，未能充分利用多模态信息来激发创意。

论文的关键思路是引入Amuse，一个能够将多模态输入转化为和弦进程的歌曲创作助手。其创新之处在于提出了一种在缺乏成对的多模态输入与和弦数据集的情况下，利用多模态大型语言模型生成噪声和弦建议，并通过单模态和弦模型进行过滤的方法。这种方法不仅解决了数据稀缺的问题，还提高了和弦生成的相关性和连贯性。

论文的亮点包括：1) 用户研究表明，Amuse能有效地将多模态创意转化为连贯的音乐建议，增强了用户的自主性和创造力；2) 研究使用了真实的用户测试，验证了系统的实用性和有效性；3) 论文提到未来可以进一步研究如何优化多模态到音乐转换的过程，以及探索更多类型的多模态输入。此外，是否开源代码未明确提及，但这是一个值得期待的方向。

最近在这个领域中，相关的研究还包括：1) 利用深度学习生成音乐旋律的研究；2) 多模态数据融合在其他艺术创作中的应用；3) 基于用户反馈改进AI辅助创作工具的研究。例如，《Generating Personalized Music using Deep Learning》、《Multimodal Fusion for Creative Art Generation》、《Enhancing Creativity in AI-assisted Writing Tools》等论文都探讨了类似的主题。