A Mapping Strategy for Interacting with Latent Audio Synthesis Using Artistic Materials

本文提出了一种与生成型AI模型的潜在空间交互的映射策略。我们的方法是利用无监督的特征学习来对人类控制空间进行编码，并将其映射到音频合成模型的潜在空间中。为了展示这种映射策略如何将高维传感器数据转化为深度生成模型的控制机制，我们提出了一个概念验证系统，该系统使用视觉草图来控制音频合成模型。我们借鉴了XAIxArts中的新兴话语，讨论了这种方法如何在艺术和创意背景下对XAI做出贡献，同时讨论了其当前的局限性并提出了未来的研究方向。

这篇论文旨在探讨如何利用无监督特征学习技术将人类控制空间编码并映射到音频合成模型的潜在空间中，从而将高维传感器数据转化为深度生成模型的控制机制。

论文的关键思路是使用无监督特征学习技术将人类控制空间编码，并将其映射到音频合成模型的潜在空间中，从而实现对音频生成模型的控制。

论文提出了一种将高维传感器数据转化为深度生成模型控制机制的方法，并通过一个视觉草图控制音频合成模型的案例进行了验证。论文还探讨了这种方法在艺术和创意领域中的应用价值，并提出了未来研究方向。

最近在这个领域中，还有一些相关的研究，如《Generative Models and Model Criticism via Optimized Maximum Mean Discrepancy》、《Unsupervised Learning for Physical Interaction through Video Prediction》等。