OMNI-EPIC: Open-endedness via Models of human Notions of Interestingness with Environments Programmed in Code

开放式和人工智能生成算法的目标是不断生成和解决越来越复杂的任务，为更普遍的智能提供了一个有前途的路径。为了实现这个宏伟的愿景，学习必须发生在各种潜在的任务中。现有的自动生成环境的方法受到手动预定义的、通常是狭窄的环境分布的限制，限制了它们创建任何学习环境的能力。为了解决这个限制，我们介绍了一个新的框架，OMNI-EPIC，它通过人类有趣概念模型（OMNI）和编程环境（EPIC）来增强先前的开放性工作。OMNI-EPIC利用基础模型自主生成代码，指定下一个可学习的（即不太容易或难以适应代理当前的技能水平）和有趣的（例如有价值和新颖的）任务。OMNI-EPIC生成环境（例如障碍课程）和奖励函数（例如快速通过障碍课程而不碰到红色物体），原则上能够创建任何可模拟的学习任务。我们展示了OMNI-EPIC的爆炸性创造力，不断创新，提出新的有趣学习挑战。我们还强调了OMNI-EPIC如何适应强化学习代理的学习进度，生成适当难度的任务。总的来说，OMNI-EPIC可以无限地创建可学习和有趣的环境，进一步推动自我改进的人工智能系统和人工智能生成算法的发展。项目网站和视频：https://dub.sh/omniepic。

本文试图通过引入OMNI-EPIC框架解决自动生成学习环境的问题，使得学习任务的生成不再受限于手动预定义的环境分布，从而推动自我提升的AI系统和AI生成算法的发展。

OMNI-EPIC框架结合了OMNI模型和EPIC编程环境，可以自动生成适合当前智能体技能水平的有趣且可学习的任务，这些任务包括环境和奖励函数，从而可以创建任何可模拟的学习任务。

OMNI-EPIC框架具有爆炸性的创造力，可以不断创新并提出新的有趣的学习挑战。同时，OMNI-EPIC可以根据强化学习智能体的学习进展自适应地生成适当难度的任务。本文提供了项目网站和视频，实验结果显示了OMNI-EPIC框架的有效性。

最近的相关研究包括OpenAI的Gym和DeepMind的DM Control等框架，它们也旨在提供可扩展的学习环境。但是，这些框架都受到手动定义环境分布的限制，而OMNI-EPIC框架可以自动生成任务，具有更大的灵活性和创造力。