Generative Escher Meshes

本文提出了一种全自动的、以文本为引导的生成方法，用于生成周期性、重复、可平铺的二维艺术作品，例如地板、马赛克、陶瓷和M.C. Escher的作品。与标准的无缝纹理概念（即平铺时无缝的正方形图像）相比，我们的方法生成的是仅由相同对象的重复副本组成的非正方形平铺。为了生成形状和外观符合期望对象的非正方形平铺，几何和颜色都需要进行优化，同时尽量减少背景细节。我们通过一个非约束的、可微分的参数化方法来实现平铺的几何优化，这是我们的关键技术贡献。具体来说，我们证明了修改2D网格映射技术Orbifold Tutte Embedding中使用的拉普拉斯算子可以实现所选平面对称群的所有可能平铺配置。因此，我们将网格的平铺形状和纹理都视为可优化的参数，并通过可微分渲染器呈现纹理网格。我们利用训练好的图像扩散模型定义了一个损失函数，以此更新网格的参数，使其外观与文本提示相匹配。我们展示了我们的方法能够为各种不同的周期性平铺图案生成合理、吸引人的结果，其中包括非平凡的平铺。

本论文旨在提出一种全自动、文本引导的生成方法，用于生成周期性、重复、可平铺的二维艺术品，例如地板、马赛克、陶瓷和M.C. Escher的作品。它通过优化2D网格的几何和颜色来生成所需对象的形状和外观的非方形平铺，几乎没有额外的背景细节。

论文的关键技术贡献是，为给定对称群的所有可能可平铺形状空间提供了一种无约束、可微分的参数化。通过修改用于2D网格映射技术的拉普拉斯算子-Orbifold Tutte Embedding，可以实现所选平面对称群的所有可能平铺配置。因此，我们将网格的平铺形状和纹理都视为可优化的参数，通过可微分渲染器呈现纹理网格。我们利用训练好的图像扩散模型定义了一个损失函数，根据外观匹配文本提示更新网格的参数。

论文展示了该方法能够产生吸引人的、合理的结果，具有非平凡的平铺，适用于各种不同的周期性平铺图案。实验使用了不同的周期性图案数据集，并展示了生成结果。此外，论文还提供了开源代码。

在这个领域中，还有一些相关研究，例如：1.《A Neural Algorithm of Artistic Style》；2.《Texture Synthesis Using Convolutional Neural Networks》；3.《Neural Style Transfer: A Review》等。