Learning-Order Autoregressive Models with Application to Molecular Graph Generation

自回归模型（ARMs）已经成为序列生成任务的主力工具，因为许多问题可以被建模为下一个标记的预测。虽然文本似乎有自然的顺序（即从左到右），但对于许多数据类型，如图结构数据，其标准顺序则不那么明显。为了解决这个问题，我们引入了一种ARM的变体，该变体使用从数据中顺序推断出的概率顺序来生成高维数据。这个模型包含一个可训练的概率分布，称为“顺序策略”，它以状态依赖的方式动态决定自回归顺序。为了训练模型，我们引入了一个关于精确对数似然的变分下界，并使用随机梯度估计进行优化。实验结果表明，我们的方法可以在图像和图结构数据生成中学习到有意义的自回归顺序。在具有挑战性的分子图生成领域，我们在QM9和ZINC250k基准测试中取得了最先进的结果，评估指标为Fréchet ChemNet距离（FCD）。

该论文试图解决在生成高维数据（如图像和图结构数据）时，自回归模型（ARMs）中缺乏自然顺序的问题。对于文本数据，顺序是显而易见的（从左到右），但对于图像和图结构数据，这种顺序并不明显。这是一个需要新方法来处理的问题，因为传统的自回归模型依赖于固定的、预定义的顺序。

论文的关键思路是引入一种新的自回归模型变体，该模型使用一个可训练的概率分布（称为order-policy）来动态决定生成过程中元素的顺序。这个order-policy是状态依赖的，意味着它可以根据当前生成的状态来调整下一个元素的选择。这种方法允许模型根据数据本身的特点来学习最合适的顺序，从而提高生成效果。相比现有研究，这篇论文的新意在于它将顺序选择过程也纳入了模型的学习范围，而不是依赖于固定的或随机的顺序。

论文展示了该方法在图像和图结构数据生成中的有效性，特别是在分子图生成这一挑战性任务上取得了最新的最佳结果。实验设计包括在QM9和ZINC250k基准数据集上的评估，并使用Fréchet ChemNet Distance (FCD)作为评价指标。此外，论文还提出了一个变分下界来优化模型的训练目标，使用随机梯度估计进行优化。目前尚不清楚是否有开源代码，但未来的研究可以进一步探索如何将此方法应用于其他类型的高维数据生成任务。

最近在这个领域内的一些相关研究包括： 1. "GraphRNN: Generating Realistic Graphs with Deep Auto-regressive Models" - 探索了通过深度自回归模型生成图结构数据的方法。 2. "MolGAN: An implicit generative model for small molecular graphs" - 提出了一个用于生成小分子图的隐式生成模型。 3. "Conditional Image Generation with PixelCNN Decoders" - 研究了基于PixelCNN的条件图像生成方法。 这些研究都在尝试改进高维数据的生成方式，但本论文的独特之处在于它引入了动态顺序选择机制。