Exploring Bridges Between Creative Coding and Visual Generative AI

如何将生成式程序艺术和视觉生成式人工智能（AI）桥接起来，以进行视觉内容创作，这是一个尚未被充分探讨的话题。一方面，有许多情况下，创意程序员可以利用生成式AI，包括对画布内容进行风格化处理以及基于某些程序艺术的现有风格创建新内容（风格学习）。另一方面，现有方法不支持创意程序员在创意编码环境中灵活地利用视觉生成式AI方法。 在这项工作中，我们探讨了如何通过编程在创意环境中集成功能，以桥接生成式程序艺术创作和视觉生成式AI（具体而言是扩散模型）。具体来说，我们想探索通过艺术家和程序员可访问的交互方法，对艺术内容进行条件/风格化处理以及对程序艺术进行风格学习的方法学。 我们提出了两种方法：GenP5是一种新型的p5.js库，可以灵活地创建生成式程序艺术，方便地对画布内容进行风格化处理，并以预定模式方便地进行艺术创作的条件处理；而P52Style是一个扩展库，建立在p5.gui之上，允许对艺术内容进行灵活的调整，并利用视觉生成式AI进行风格学习任务。

如何在创意编程环境中灵活地利用视觉生成人工智能方法来进行视觉内容创作，是一个未被充分探索的话题。

本文提出了两种方法：GenP5和P52Style，分别基于p5.js库和p5.gui库，实现了灵活的画布内容样式化和预定模式下的艺术创作，以及可调整的艺术内容和视觉生成人工智能用于风格学习任务。

本文的亮点在于提供了一种创意编程环境下利用视觉生成人工智能方法进行视觉内容创作的新思路，并提供了两种实现方法。此外，本文还介绍了实验设计和使用的数据集，并提供了开源代码。

近期的相关研究包括：Neural Style Transfer via Meta Networks、A Neural Algorithm of Artistic Style、Fast Neural Style Transfer等。