Prioritizing Safeguarding Over Autonomy: Risks of LLM Agents for Science

基于大型语言模型的智能代理已经展示出在各个学科中自主进行实验和促进科学发现的巨大潜力。尽管它们的能力很有前途，但它们也引入了新的漏洞，需要仔细考虑安全问题。然而，文献中存在一个显著的空白，因为还没有全面探讨这些漏洞。本文通过对科学领域中基于LLM的代理的漏洞进行彻底的研究，揭示了它们的误用可能带来的潜在风险，并强调了安全措施的必要性。首先，我们提供了对科学LLM代理固有潜在风险的全面概述，考虑到用户意图、特定的科学领域以及它们对外部环境的潜在影响。然后，我们深入探讨了这些漏洞的起源，并对现有研究进行了范围审查。基于我们的分析，我们提出了一个三元框架，包括人类监管、代理对齐和对环境反馈的理解（代理监管），以减轻这些已经确定的风险。此外，我们强调了保障科学代理的局限性和挑战，并倡导开发改进的模型、强大的基准和全面的规定，以有效地解决这些问题。

本篇论文旨在全面探讨基于大型语言模型的人工智能代理在科学领域中存在的潜在漏洞和风险，并强调采取安全措施的必要性。

该论文提出了一个三元框架，包括人类监管、代理对齐和对环境反馈的理解（代理监管），以减轻已经识别出的风险。

论文详细介绍了科学领域中基于LLM代理存在的潜在风险，并提出了解决方案。实验设计合理，提出的三元框架为解决问题提供了有效的思路。论文也指出了当前研究的局限性和挑战，并呼吁开发更好的模型、强大的基准测试和全面的法规来有效解决这些问题。

与该论文相关的其他研究包括：1）《AI Safety Needs Social Scientists》；2）《Towards Robust and Verified AI: Specification Testing, Robust Training, and Formal Verification》；3）《Safe Exploration in Continuous Action Spaces》等。