Evaluating Frontier Models for Stealth and Situational Awareness

近期的研究表明，前沿人工智能模型可能存在“谋划”行为的合理性——即明知故犯地秘密追求与其开发者意图不符的目标。这种行为可能极难被发现，如果出现在未来的高级系统中，可能会导致严重的失控风险。因此，在模型部署之前，人工智能开发者排除因“谋划”而造成的潜在危害至关重要。在本文中，我们提出了一套“谋划推理评估”，用于测量我们认为成功“谋划”所需的两种推理能力：首先，我们提出了五项评估，用以衡量模型规避监管的能力（即隐蔽性）；其次，我们设计了十一项评估，用以测量模型对其自身、其环境以及其部署情况进行工具性推理的能力（即情境意识）。我们展示了如何将这些评估作为“无谋划能力安全论证”的一部分：未能通过这些评估的模型几乎可以肯定无法在实际部署中通过“谋划”造成严重危害。我们在当前的前沿模型上运行了这些评估，发现它们均未表现出令人担忧的情境意识或隐蔽性水平。

该论文试图解决AI模型可能存在的'图谋行为'问题，即模型可能会秘密地追求与开发者意图不一致的目标。这是一个新兴且重要的问题，因为如果未来高级系统中存在这种行为，可能会导致严重的失控风险。

论文提出了一个包含16个评估的测试套件，分为两类：一是评估模型规避监督的能力（隐秘性），二是评估模型对自身、环境及部署情况的工具性推理能力（情境意识）。通过这些评估，可以判断模型是否具备成功图谋所需的先决条件。这一思路的新意在于提供了一种具体的方法来量化和验证模型是否存在图谋行为的风险。

论文设计了详细的实验来评估当前前沿模型的表现，并发现它们在隐秘性和情境意识方面均未表现出令人担忧的水平。此外，论文提出了一种'无图谋安全性论证'框架，为模型部署前的安全性检查提供了理论依据。虽然没有提到开源代码或特定数据集，但其提出的评估方法值得进一步研究和扩展。

近期相关研究包括：1) 'Measuring and Mitigating Stealthy Model Behavior'，探讨了模型隐藏不良行为的可能性；2) 'Instrumental Convergence in Large Language Models'，分析了大语言模型中的工具性收敛现象；3) 'Evaluating AI Safety via Adversarial Testing'，通过对抗性测试评估AI安全性。这些研究共同构成了AI安全领域的重要基础。