When Ethics and Payoffs Diverge: LLM Agents in Morally Charged Social Dilemmas

近期大型语言模型（LLMs）的进展使得它们能够被用于涉及复杂决策的角色中，这些角色可能需要与人类或其他代理互动，从而使得伦理对齐成为人工智能安全的关键问题。尽管之前的研究已经探讨了LLMs在社会两难情境中的道德判断和战略性行为，但对于当道德要求直接与奖励或激励相冲突时，LLMs的行为仍缺乏深入理解。为了解决这一问题，我们引入了“社会两难情境中的道德行为模拟”（MoralSim），并评估了LLMs在具有道德背景的囚徒困境和公共物品博弈中的表现。在MoralSim中，我们测试了一系列前沿模型，涵盖了两种博弈结构以及三种不同的道德框架，从而系统性地考察了LLMs在伦理规范与收益最大化策略相冲突的社会两难情境中的行为模式。我们的研究结果显示，不同模型在整体上表现出显著差异，包括其遵循道德行为的倾向、在不同博弈类型中的行为一致性，以及在特定道德框架和情境因素（如对手行为和生存风险）下的反应。至关重要的是，没有任何模型能够在MoralSim中始终表现出一致的道德行为，这突显了在将LLMs部署到可能面临“自身利益”与伦理期望冲突的代理角色时需保持谨慎。我们的代码已公开，可在以下链接获取：https://github.com/sbackmann/moralsim。

本论文试图研究大型语言模型（LLMs）在道德规范与奖励机制冲突时的行为表现。具体来说，它探讨了这些模型在涉及伦理决策的社会两难情境中如何行动。这是一个相对较新的问题，因为随着LLMs在复杂代理角色中的应用增加，其道德对齐和安全性变得越来越重要。

论文通过引入MoralSim框架来评估LLMs在囚徒困境和公共物品博弈等社会两难情境中的行为，特别是在具有强烈道德背景的情况下。与以往的研究不同，这项工作系统地测试了多个前沿LLMs在不同游戏结构和道德框架下的表现，揭示了它们在道德与自我利益冲突时的决策模式。

1. 实验设计包括多种道德框架和情景因素，如对手行为和生存风险，提供了更全面的分析视角。 2. 使用了多种前沿LLMs进行测试，展示了模型间显著的行为差异。 3. 结果表明没有一个模型能始终表现出一致的道德行为，强调了在部署LLMs时需谨慎考虑伦理对齐问题。 4. 开源代码已发布在GitHub上（https://github.com/sbackmann/moralsim），便于后续研究者复现和扩展实验。 5. 值得进一步研究的方向包括：如何改进LLMs的道德推理能力、如何更好地将人类价值观融入AI决策过程。

近期相关研究包括： 1. "Aligning Superintelligence with Human Interests through Value Learning" - 探讨如何通过价值学习使超级智能与人类利益保持一致。 2. "Ethical Decision-Making Frameworks for Autonomous Vehicles" - 研究自动驾驶汽车中的伦理决策问题。 3. "The Moral Machine Experiment" - 分析人类对机器伦理决策的偏好。 4. "Strategic Behavior in Repeated Games with Language Models" - 研究LLMs在重复博弈中的策略性行为。 5. "Value Alignment in Cooperative AI" - 讨论合作式AI中的价值对齐问题。