SketchGPT: Autoregressive Modeling for Sketch Generation and Recognition

我们提出了SketchGPT，这是一个灵活的框架，采用序列到序列的自回归模型进行素描生成和完成，并进行了一个解释性案例研究，用于素描识别。通过将复杂的素描映射成简化的抽象基元序列，我们的方法显著简化了自回归建模的输入。SketchGPT利用下一个标记预测目标策略来理解素描模式，促进了绘画的创建和完成，同时也准确地对其进行分类。这种提出的素描表示策略有助于克服连续笔画数据的自回归建模的现有挑战，从而实现更平滑的模型训练和竞争性能。我们的研究结果展示了SketchGPT生成各种各样的图画的能力，通过与现有最先进技术的定性和定量比较以及全面的人类评估研究。我们的官方GitHub将发布代码和预训练模型。

SketchGPT试图解决手绘图像生成和完成的问题，并提出了一种新的简化手绘图像表示方法，以便更好地进行自回归建模。

SketchGPT采用了序列到序列的自回归模型，利用下一个标记预测目标策略来理解手绘图案，从而更好地生成和完成手绘图像，并将其准确分类。通过将复杂的手绘图像映射到抽象的基本元素序列中，大大简化了自回归建模的输入。

论文提出的手绘图像表示方法有助于克服连续笔画数据的自回归建模中存在的挑战，使模型训练更加平稳且性能更优。实验结果表明，SketchGPT能够生成多样化的手绘图像，并通过定量和定性比较以及人类评估研究，证明了其优越性。论文还将代码和预训练模型发布在GitHub上。

最近在这个领域中，还有一些相关的研究，例如：SketchRNN、SketchTransformer、GANs for Sketch Generation等。