Fractal Generative Models

模块化是计算机科学的基石，它将复杂的函数抽象成原子构建块。在本文中，我们引入了一个新的模块化层次，即将生成模型抽象为原子生成模块。类似于数学中的分形，我们的方法通过递归调用原子生成模块来构建一种新型的生成模型，形成自相似的分形架构，我们称之为分形生成模型。作为运行示例，我们使用自回归模型作为原子生成模块实例化了我们的分形框架，并在具有挑战性的逐像素图像生成任务上对其进行了测试，展示了在似然估计和生成质量方面的强大性能。我们希望这项工作能够开启生成建模的新范式，并为未来的研究提供肥沃的土壤。代码可在 https://github.com/LTH14/fractalgen 获取。

该论文试图通过引入一种新的模块化方法来改进生成模型的构建，具体是将生成模型抽象为原子生成模块，并通过递归调用这些模块构建出自相似的分形架构。这是一个创新性的问题，旨在探索生成模型的新范式，特别是在图像生成任务中的应用。

关键思路是将生成模型分解为原子生成模块，并通过递归方式构建分形生成模型。这种方法借鉴了数学中的分形概念，使得模型具有自相似性和层次结构。相比现有的生成模型，这种新方法提供了更高的灵活性和可扩展性，能够更好地处理复杂的生成任务。

论文的亮点包括：1) 使用自回归模型作为原子生成模块，展示了在像素级图像生成任务上的强大性能；2) 在似然估计和生成质量方面表现出色；3) 提供了开源代码（https://github.com/LTH14/fractalgen），便于复现和进一步研究；4) 提出了一个全新的生成模型范式，为未来的研究提供了广阔的空间。

最近在这个领域中，相关的研究包括：1) 自回归模型（如PixelRNN、PixelCNN）在图像生成中的应用；2) 变分自编码器（VAE）和生成对抗网络（GAN）等生成模型的研究；3) 模块化神经网络的设计与应用。相关研究论文标题包括：《Pixel Recurrent Neural Networks》、《Conditional Image Generation with PixelCNN Decoders》、《Neural Modular Networks》等。