Compositional Neural Textures

纹理在增强真实照片和计算机生成图像的视觉丰富度方面起着至关重要的作用。然而，编辑纹理的过程通常涉及到文本元素（textons）的繁琐和重复的手动调整，文本元素是定义纹理的小而重复的局部图案。在这项工作中，我们介绍了一种完全无监督的方法，使用组合神经模型来表示纹理，该模型捕捉单个文本元素。我们将每个文本元素表示为一个2D高斯函数，其空间支持近似于其形状，以及一个关联的特征，用于编码其详细外观。通过将纹理建模为高斯文本元素的离散组合，该表示提供了表现力和编辑的便利性。可以通过修改潜在空间中的组合高斯函数来编辑纹理，并且可以通过以前馈方式将修改后的高斯函数馈入生成器网络来高效地合成新的纹理。这种方法使得一系列应用成为可能，包括从图像纹理向另一图像传输外观，使纹理多样化，纹理插值，揭示/修改纹理变化，编辑传播，纹理动画和直接文本元素操作。所提出的方法有助于推进纹理分析，建模和编辑技术，并为创建具有可控纹理的视觉吸引力图像开辟了新的可能性。

该论文试图解决纹理编辑过程中需要进行繁琐重复的手动调整的问题，提出一种全自动的纹理表示方法。

论文提出了一种基于高斯分布的组合神经模型，将纹理表示为高斯文本的离散组合，从而实现纹理的编辑和合成。

该方法不需要监督学习，能够实现纹理的编辑、合成、转移、插值、动画等应用，具有表现力和易于编辑的优点。

在纹理分析、建模和编辑方面的研究中，已经有很多相关的工作，如《A Neural Algorithm of Artistic Style》、《Texture Synthesis by Non-parametric Sampling》等。