【标题】Finding General Equilibria in Many-Agent Economic Simulations Using Deep Reinforcement Learning

【作者团队】Michael Curry, Alexander Trott, Soham Phade, Yu Bai, Stephan Zheng

【发表日期】2022.1.3

【论文链接】https://arxiv.org/pdf/2201.01163.pdf

【推荐理由】实体经济可被看作是一个顺序的不完全信息博弈，有许多不同类型的异质的、相互作用的战略主体，如消费者、企业和政府。动态一般均衡模型是常见的经济工具，用于模拟此类系统中的经济活动、相互作用和结果。然而，现有的分析和计算方法很难找到显式的平衡，当所有代理都是战略性的和相互作用的，而联合学习是不稳定的和具有挑战性的。其中一个关键原因是，一个经济主体的行为可能会改变另一个经济主体的奖励功能，例如，当企业改变价格或政府改变税收时，消费者的可消耗收入会发生变化。研究表明，多智能体深度强化学习 (RL) 可以通过使用结构化学习课程和有效的 GPU-only 在具有许多智能体的经济模拟中发现稳定的解决方案，即 ε-纳什均衡的智能体类型元博弈模拟和训练。通过近似最佳响应分析验证了所学的元博弈ε-纳什均衡，表明RL政策与经济直觉相一致，并且该方法是建设性的，例如，通过在开放的RBC模型中明确学习一系列元博弈ε-纳什均衡。

内容中包含的图片若涉及版权问题，请及时与我们联系删除