Dynamics of Moral Behavior in Heterogeneous Populations of Learning Agents

越来越多的人对人工智能系统的安全性和对齐性表示担忧，强调在人工智能代理中嵌入道德能力的重要性。一种有前途的解决方案是利用经验学习，即强化学习。在多智能体（社会）环境中，个体学习代理之间的交互可能会引发复杂的群体级现象。许多现有研究依赖于模拟社会困境环境来研究独立学习代理的交互。然而，它们往往忽略了在实际代理社会中可能存在的道德异质性。例如，单个学习代理可能在不同的时间面对关注于逐渐最大化某些结果的后果主义者或关注于在此时此地遵守特定规范的基于规范的人。代理的共同发展受到这种道德异质性的影响程度尚不清楚。在本文中，我们提出了一个研究，研究了道德异质群体在社会困境环境中相互作用的学习动态。利用一个带有伙伴选择机制的囚徒困境环境，我们研究了人口中不同道德代理的普及程度对个体代理的学习行为和出现的群体级结果的影响程度。我们观察到了几种非平凡的亲社会和反社会代理之间的交互，并发现某些类别的道德代理能够将自私的代理引导向更合作的行为。

研究在道德异质性的多智能体环境下，道德能力如何影响个体智能体的学习行为和整体群体性能

使用强化学习算法，通过囚徒困境环境模拟不同道德智能体的相互作用，探究道德异质性对整体群体性能的影响

实验发现不同类型的道德智能体之间存在非平凡的相互作用，某些道德智能体能够引导自私的智能体向更合作的行为转变

相关研究包括：《Reinforcement Learning in Social Dilemmas: The Impact of Population Size》、《Emergent Cooperation in Multi-Agent Reinforcement Learning: A Survey》等