资讯 | DeepMind | 生成式人工智能+音乐创作最新应用成果

使用 MusicFX DJ 制作现场音乐

在今年的 I/O 大会上，我们分享了MusicFX DJ 的早期预览，这是一款任何人都可以像乐器一样演奏的数字工具，让各个技能水平的人们都能更轻松地享受现场音乐创作的乐趣。

今天，我们为 MusicFX DJ 推出了多项更新，包括扩展的直观控件集、重新设计的界面、改进的音质和新的模型行为。这些功能让玩家可以生成和控制连续的音乐流、与朋友分享他们的作品并一起演奏即兴演奏。

通过与六次获得格莱美奖的歌手、词曲作者、制作人和多乐器演奏家Jacob Collier密切合作，我们设计了这些更新，使 MusicFX DJ 更易于使用、更实用、更鼓舞人心。

与将现有曲目混合在一起的传统 DJ 工具不同，MusicFX DJ 允许玩家根据文本提示混合音乐概念，从而生成全新的音乐。借助 MusicFX DJ，玩家可以结合自己喜欢的流派、乐器和氛围来创造新风格、即兴创作现场 DJ 组合或搜索用于制作的新旋律、音色和节奏。

MusicFX DJ 虽然不是传统乐器，但却是现场音乐创作的入门之选，而且富有表现力。无论音乐经验如何，MusicFX DJ 都能让玩家通过直观的控制来生成和控制独特且不断发展的音乐音景。

DJ 采用了两种新颖的方法。首先，我们调整了离线生成音乐模型来执行实时流式传输。我们通过训练该模型来生成下一个音乐片段，该片段基于之前生成的音乐和播放器提供的文本提示。

其次，与典型的文本转音乐模型不同，我们让玩家能够混合多个文本提示并随时间改变混合，而不是使用单个固定的文本提示。该模型通过将每个提示的表示形式（称为嵌入）与每个嵌入的相对重要性（由玩家使用滑块选择）混合在一起来实现这一点。该模型使用这些组合的嵌入来帮助控制音乐风格。

流程图显示了 MusicFX DJ 如何生成连续的音乐流，如何根据前一个剪辑创建下一个剪辑，同时通过文本提示和滑块来衡量其重要性。

构建更直观的控制

我们与 Jacob 一起探索和构建专用控件，这些控件对初学者来说直观，鼓励实验，并提供比单纯的文本提示更多样化的创意表达途径。

借助 MusicFX DJ 的新控件，玩家可以指挥乐器演奏，并通过移除和添加贝司、鼓和其他乐器，轻松创建分解和低音。他们可以调整音乐的质感，例如声音和感觉应该是明亮还是暗淡、重复还是随机、平滑还是粗糙。

玩家还可以控制音调和节奏，从而更轻松地与现有音乐一起演奏，并在长时间的即兴演奏中与他人一起演奏。我们的团队非常喜欢将 MusicFX DJ 与传统乐器一起使用，我们迫不及待地想听听其他人使用这些新功能创作出什么。

产生高品质声音

作为合作的一部分，我们还探索了玩家如何将模型输出用作灵感来源和大型作品的一部分。但我们早期的模型缺乏创作专业音频所需的质量。得益于我们音频研究团队的最新创新，包括新的神经音频编解码器和优化的网络架构，MusicFX DJ 现在能够实时流式传输生产质量的 48 kHz 立体声音频。

共享和下载音频

受 Jacob 注重与其他艺术家和观众进行创意合作的启发，我们希望让 MusicFX DJ 制作的音乐更容易分享和互动。玩家现在可以下载 60 秒的 MusicFX DJ 音频并与朋友分享，他们可以观看表演回放，甚至可以随时接管控制权——将音乐带向一个全新的方向。

扩展的音乐 AI 沙盒工具包

Music AI Sandbox是一套实验性的音乐 AI 工具，旨在增强通过 YouTube 的Music AI Incubator与我们合作的音乐家、制作人和词曲作者的工作流程。它是一个宝贵的试验场，可以收集来自音乐行业不同艺术家、词曲作者和合作伙伴对我们最新和最具实验性的生成音乐工具的反馈。虽然 Music AI Sandbox 目前尚未公开，但这项工作的成功元素将被集成到广泛使用的 Google 产品中。

自从在今年的 I/O 大会上公开展示 Music AI Sandbox 以来，我们还一直与Google 的技术与社会团队密切合作，以改善用户体验并大规模与艺术社区建立联系以收集反馈。这项工作帮助我们对这套工具背后的模型进行了重大更新。

很快，值得信赖的测试人员将能够绘制歌曲草图，并使用多音轨视图通过精确的控制来帮助组织和优化乐曲。新版 Music AI Sandbox 集成了我们的最新技术，包括支持 MusicFX DJ 的模型，以及循环生成、声音转换和修复等热门功能，以帮助用户无缝连接其音乐曲目的各个部分。

我们更新的音乐 AI 沙盒的用户界面设计的屏幕截图，它具有多轨道视图，可帮助您通过精确的控制来组织和优化作品。

YouTube 的 Dream Track 实验现可生成乐器配乐

在与 YouTube 持续合作的基础上，我们改进了Dream Track 实验，让美国创作者可以探索各种流派和提示，利用强大的文本转音乐模型生成乐器配乐。

我们最新的音乐生成模型采用新颖的强化学习方法进行训练，以获得更高的音频质量，同时还能更好地关注用户文本提示的细微差别。负责任地部署生成技术是我们的核心价值观，因此 MusicFX DJ 和 Dream Track 生成的所有音乐都使用SynthID加水印。

共同打造音乐创作的未来

过去的一年，我们非常高兴与音乐界的合作伙伴携手合作，共同打造既能满足专业人士需求，又能为下一代音乐家拓展使用渠道的技术。

我们期待着深化这些合作伙伴关系，共同建设音乐创作的未来，开发更好的工具来激发创造力。

试用

尝试 MusicFX DJ

http://labs.google/musicfx

观看 Jacob Collier 的实验室课程视频

https://www.youtube.com/watch?v=y7gKlzvg8xk&feature=youtu.be

阅读有关音乐 AI 沙盒的更多信息

https://deepmind.google/discover/blog/transforming-the-future-of-music-creation/

贡献者

这项工作得益于 Andrea Agostinelli、Zalán Borsos、George Brower、Antoine Caillon、Cătălina Cangea、Noah Constant、Michael Chang、Chris Deaner、Timo Denk、Chris Donahue、Michael Dooley、Jesse Engel、Christian Frank、Beat Gfeller、Tobenna Peter Igwe、Drew Jaegle、Matej Kastelic、Kazuya Kawakami、Pen Li、Ethan Manilow、Yotam Mann、Colin McArdell、Brian McWilliams、Adam Roberts、Matt Sharifi、Ian Simon、Ondrej Skopek、Marco Tagliasacchi、Cassie Tarakajian、Alex Tudor、Victor Ungureanu、Mauro Verzetti、Damien Vincent、Luyu Wang、Björn Winkler、Yan Wu 和 Mauricio Zuluaga 的核心研究和工程努力。

MusicFX DJ 由 Antoine Caillon、Noah Constant、Jesse Engel、Alberto Lalama、Hema Manickavasagam、Adam Roberts、Ian Simon 和 Cassie Tarakajian 与 Google 实验室的合作伙伴共同开发，这些合作伙伴包括 Obed Appiah-Agyeman、Tahj Atkinson、Carlie de Boer、Phillip Campion、Sai Kiran Gorthi、Kelly Lau-Kee、Elias Roman、Noah Semus、Trond Wuellner、Kristin Yim 和 Jamie Zyskowski。我们衷心感谢 Jacob Collier、Ben Bloomberg 和 Fran Haincourt 在整个开发过程中提供的宝贵反馈。

Music AI Sandbox 由 Andrea Agostinelli、George Brower、Ross Cairns (xWF)、Michael Chang、Yeawon Choi、Chris Deaner、Jesse Engel、Reed Enger、Beat Gfeller、Tom Hume、Tom Jenkins、Max Edelmann (xWF)、Drew Jaegle、Jacob Kelly、DY Kim、David Madras、Hema Manickavasagam、Ethan Manilow、Yotam Mann、Colin McArdell、Chris Reardon、Felix Riedel、Adam Roberts、Arathi Sethumadhavan、Eleni Shaw、Sage Stevens、Amy Stuart、Luyu Wang、Pawel Wluka 和 Yan Wu 与 YouTube 和 Tech & Society 的合作伙伴共同开发。

Dream Track 由 Andrea Agostinelli、Zalán Borsos、Geoffrey Cideron、Timo Denk、Michael Dooley、Christian Frank、Sertan Girgin、Myriam Hamed Torres、Matej Kastelic、Pen Li、Brian McWilliams、Matt Sharifi、Ondrej Skopek、Marco Tagliasacchi、Mauro Verzetti 开发，Mauricio Zuluaga，与 YouTube 合作伙伴合作。

特别感谢 Aäron van den Oord、Tom Hume、Douglas Eck、Eli Collins、Mira Lane、Koray Kavukcuoglu 和 Demis Hassabis 在整个研究过程中提供的深刻指导和支持。感谢 Mahyar Bordbar 和 DY Kim 帮助协调这些工作，以及 YouTube 艺术家合作伙伴团队与音乐行业合作提供的支持。

我们还要感谢为 Google DeepMind 和 Alphabet 做出贡献的许多其他个人，包括我们在 YouTube 的合作伙伴。