COMPL-AI Framework: A Technical Interpretation and LLM Benchmarking Suite for the EU Artificial Intelligence Act

欧盟的《人工智能法案》是迈向负责任的人工智能发展的重要一步，但缺乏明确的技术解释，这使得评估模型的合规性变得困难。本研究提出了COMPL-AI，这是一个全面的框架，包括：（i）欧盟《人工智能法案》的第一个技术解释，将其广泛的监管要求转化为可衡量的技术要求，重点关注大型语言模型（LLMs），以及（ii）基于对最先进的LLM基准测试的彻底调查和实施的面向法案的开源基准测试套件。通过在COMPL-AI的背景下评估12个著名的LLM，我们揭示了现有模型和基准测试的缺陷，特别是在鲁棒性、安全性、多样性和公平性等方面。本研究强调了需要将重点转向这些方面，鼓励平衡发展LLM和更全面的符合监管的基准测试。同时，COMPL-AI首次展示了将法案的义务提升到更具体、技术层面的可能性和困难。因此，我们的工作可以作为为模型提供者提供可行建议的有用第一步，并为欧盟推动《人工智能法案》的应用（如起草GPAI行为准则）做出贡献。

本文旨在提供一个全面的框架COMPL-AI，将欧盟AI法案的广泛监管要求转化为可衡量的技术要求，重点关注大型语言模型（LLMs）的合规性评估。同时，对12个知名的LLMs进行评估，揭示了现有模型和基准测试的不足之处，特别是在鲁棒性、安全性、多样性和公平性等方面。这项工作强调了需要关注这些方面的必要性，鼓励平衡发展LLMs和更全面的基准测试。同时，COMPL-AI首次展示了将法案义务转化为更具体的技术层面的可能性和困难。这项工作有助于为模型提供者提供可行的建议，并为欧盟推动法案的应用做出贡献。

COMPL-AI是一个全面的框架，将欧盟AI法案的广泛监管要求转化为可衡量的技术要求，重点关注大型语言模型（LLMs）的合规性评估。同时，对12个知名的LLMs进行评估，揭示了现有模型和基准测试的不足之处，特别是在鲁棒性、安全性、多样性和公平性等方面。

本文提供了一个全面的框架COMPL-AI，将欧盟AI法案的广泛监管要求转化为可衡量的技术要求，重点关注大型语言模型（LLMs）的合规性评估。同时，对12个知名的LLMs进行评估，揭示了现有模型和基准测试的不足之处，特别是在鲁棒性、安全性、多样性和公平性等方面。本文的贡献在于为模型提供者提供可行的建议，并为欧盟推动法案的应用做出贡献。

最近在这个领域中，还有一些相关的研究，如《The Alignment Problem in Automated Reasoning》、《The Ethics of Artificial Intelligence》等。