【标题】Paint Transformer: Feed Forward Neural Painting with Stroke Prediction

【作者】Songhua Liu, Tianwei Lin, Dongliang He, Fu Li, Ruifeng Deng, Xin Li, Errui Ding, Hao Wang

【论文链接】https://arxiv.org/pdf/2108.03798.pdf

【发表日期】2021.8.11

【推荐理由】神经绘画是指为给定的图像生成一系列笔划，并使用神经网络以非照片真实的方式重新创建该图像的过程。虽然基于强化学习（RL）的agent可以为该任务逐步生成笔划序列，但训练稳定的RL agent并不容易。另一方面，笔划优化方法在较大的搜索空间内迭代搜索一组笔划参数；这种低效率极大地限制了它们的普遍性和实用性。与以往的方法不同，本文中将该任务描述为一个集合预测问题，并提出了一种新的基于 Transformer 的框架，称为Paint-Transformer，以使用前馈网络预测笔画集的参数。通过这种方式，本文的模型可以并行生成一组笔划，并几乎实时地获得大小为512*512的最终绘制。更重要的是，由于没有数据集可用于训练Paint Transformer，因此本文设计了一个自训练管道，这样就可以在不使用任何现成数据集的情况下对其进行训练，同时仍然可以实现出色的泛化能力。实验表明，该方法比以前的方法具有更好的的绘画性能。代码和模型可用。

内容中包含的图片若涉及版权问题，请及时与我们联系删除