2024人工智能合作与治理国际论坛于12月2-3日在新加坡国立大学召开。本届论坛由清华大学、新加坡国立大学和香港科技大学联合主办。其中，安远AI与新加坡的AI Verify基金会联合举办了多场人工智能安全专题论坛。
12月2日上午的人工智能安全的产业与监管合作专题讨论，嘉宾包括欧盟通用型人工智能行为准则副主席Nitarshan RAJKUMAR、Resaro AI董事总经理兼首席执行官April CHIN，以及BCG X东南亚首席工程师Robin WESTON，本场讨论由AI Verify执行董事Shameek KUNDU主持。
本场专题讨论探讨了基础模型安全与下游商业应用之间的关键交叉点。Rajkumar强调了不同利益相关者关切的区别，以及在各种风险水平上需要相称的安全响应。Chin描述了Resaro AI在测试高风险应用中的人工智能系统的工作，如医疗保健和教育，以弥合学术基准与更具体用途基准之间的差距。Weston提倡采用“持续交付”方法进行人工智能部署，认为渐进式更新可以提高对系统行为的理解，帮助识别问题源头，并有助于解决软件在现实世界中本质上不可预测的行为。
（应部分嘉宾要求，本场专题讨论不提供现场视频回放）
如何应对AI安全研究与商业应用之间的脱节
Shameek KUNDU: 前沿的AI安全研究往往在科研领域，下游的产业界往往并不关注基准测试、红队测试等，我们能否以及如何消除现AI安全与商业化下游AI测试之间的这种脱节，并探讨两者之间的关联与差异？Nitarshan RAJKUMAR:我是剑桥大学的一名博士生，曾在英国政府工作2年，参与成立了英国AI安全研究所并策划了全球AI安全峰会。关于AI安全研究所的创建背景，当有人想做成某事时，英国政府的行动可以迅速而灵活。当时英国首相Rishi Sunak是一位非常年轻且精通技术的领导人，充分认识到AI的重大意义，并且得到了包括我在内的许多技术人才的支持。随着ChatGPT的出现和AI技术的迅猛发展，我们意识到，不能再像过去那样对技术发展反应迟缓，需要采取更积极的应对策略。于是我们迅速将这一构想到实际操作中，成立了英国AI安全研究所并策划了全球AI安全峰会。AI安全研究所的初衷是为了应对快速发展的前沿模型所带来的挑战。通过汇聚全球顶尖的AI技术人才，推进AI安全议题的政策制定。最终，我们成功举办了AI安全峰会，并通过展示不同场景的风险评测，展示了我们的工作成果，使得我们在AI安全领域的努力得到了国际认可。
Shameek KUNDU:作为一名为客户提供AI解决方案的从业者，你的日常工作在多大程度上需要考虑“前沿模型安全”？Robin WESTON: 这是个很好的问题。我在BCG X工作，也就是波士顿咨询公司(BCG)的技术和创新部门。我们与各种客户群体合作，通常是大型企业，帮他们构建技术系统，无论是内部系统、新业务还是介于两者之间的所有事情。我的背景是通用的软件工程，并不是AI专家，这意味着在我的日常工作中，大约20%的思维会集中在AI相关问题，然后其中大约20%的精力会用来考虑AI安全问题，所以实际投入的时间并不多。但我自己非常重视AI安全问题，因为我们实际上是把技术带入现实世界、接触到真实用户的最后一道屏障，这可能会影响人们的生活，我认为这是一个巨大的责任。Shameek KUNDU: 这个问题非常有趣。也就是说，你100%的工作时间都专注于构建那些最终会影响客户的数字解决方案。而在这其中，大约20%的精力是集中在AI上，在这20%中涉及基础模型安全的只占很小一部分。剩下的部分大多数时间都在处理系统的其余部分，确保整个系统能够正常运行？Robin WESTON:对此我的核心观点是：虽然我们必须非常重视基础模型安全，但对于很多最终交付给客户的大型企业应用，很多时候这些解决方案涉及的往往与前沿模型安全并无太大联系，甚至与AI也并不那么直接相关。因此，AI安全社区与下游的业务社区可能需要更多地交流合作。April CHIN:对我来说，AI测试是一种必须嵌入的策略，无论我们处于一个地缘政治稳定的世界，还是一个碎片化的世界，AI测试都至关重要，因为它帮助我们建立对技术的合理信任。我们的旅程大约始于四到五年前，当时我们与新加坡的全球投资公司淡马锡合作，专注于为未来世代投资。从这个角度，任何负责任的技术都必须成为投资战略的一部分。所以，去年决定将Rasaro作为淡马锡全资拥有的公司成立。从那时起，我们一直在进行非常有趣和激动人心的工作，处在测试AI应用走向现实世界的前沿。如果用一个比喻来框定我们的讨论，我们就像是在确保一个学生准备好进入职场，去做他们所学的工作，掌握了基础课程、通过了考试，并且被投身于实际工作中，成为负责任的职场人。Shameek KUNDU: 我知道像你们公司这样的公司其实不止一家，你们的商业模式是什么？目标客户是谁？会测试哪些类型的系统？April CHIN:我们的客户包括希望在高风险或关键领域使用AI的企业和政府机构，这些领域涉及重大商业或最终用户影响。我们与客户紧密合作，帮助他们理解特定应用场景，制定与业务需求相关的基准和测试集，确保AI模型按预期工作。在此过程中，涉及众多利益相关者，我们需要与他们的价值观保持一致，并通过大量测试案例说服他们，确保AI模型准备好投入实际应用。模型安全与应用安全的区分
Shameek KUNDU:现在回到上游。Nitarshan，我们来看一下你最近的工作，特别是作为欧盟通用型人工智能行为准则副主席，你如何看待这些模型的使用？如何在上游层面思考模型会如何被使用，而不仅仅是在实验室测试阶段判断它们是否安全或不安全？
Nitarshan RAJKUMAR: 我把模型层面的安全与应用层面的安全区分开来，就像是插座和充电器的关系。我把充电器插到墙上的插座里，但我不需要担心核安全问题——那是别人的责任，他们有很好的系统确保核电站是安全的，而我更关心充电器能否正常工作。从某种意义上，模型安全和应用安全是两个不同的关注点，应该由不同的人去处理。即使两者可能有共同的工程实践，或者在测量科学等领域存在交集，它们依然各自独立。在欧盟的工作中，我们现在的目标是改善透明度，确保政府和社会能够更好地理解AI能力的进展速度以及潜在的风险。这些工作更多关注上游层面的安全性：例如如何确保模型开发者或提供商采取了适当的安全措施，以及如何应对网络安全等威胁，防止系统被攻击并滥用。我们的工作主要针对全球能够构建先进AI系统的少数几家公司，这些系统可能带来系统性风险，例如国家安全风险或对社会的大规模危害。我们并不直接关注下游应用，因为现有的法规和监管机构已经能很好地适应这一部分需求。Shameek KUNDU: 我明白了，你提到的《行为准则》更多关注模型层面，而不直接影响下游应用。那么从《行为准则》的角度，如果我在银行或电信公司，使用前沿基础模型构建应用时，我可以期待从中获得什么信息？Nitarshan RAJKUMAR:如果你是一个银行，想要让员工采用聊天机器人，或者用它作为客户服务工具，你不希望这个聊天机器人被人滥用成为进行网络攻击的工具之一，网络攻击防护是其中一个方面。除此之外，还有模型是否可能被滥用，例如是否存在两用科学能力或者网络安全问题。你不希望系统强化了偏见或歧视，这不仅会影响品牌形象，也对社会有害。因此，我们的目标是在模型层面解决这些问题，以确保当你采用这个模型时，它不会给你带来系统性的风险。第三方认证的可能性与市场机制建立
Shameek KUNDU:在《行为准则》的工作中，是否也建议引入某种第三方认证？作为买家或用户，我能否得到某种“印章”，表明这个基础模型在某些方面是可靠的？
Nitarshan RAJKUMAR:这是《行为准则》中最具争议的部分。我们目前正在进行一个持续的过程，正在收集模型开发者、民间社会和学术界的反馈。在外部测试、评测或认证问题上确实存在争议。但我们也看到在许多行业中第三方认证是建立信任、确保系统被广泛采用的有效方式。比如，在软件工程中的SOC 2认证就是一个很好的例子。虽然它会消耗大量工程时间，但当完成认证后，整个系统会更加平稳，人们也知道自己购买的是经过认证的合规软件。因此，虽然目前没有类似的标准适用于下游开发者，但我们希望通过《行为准则》帮助建立这样一种信任机制，确保下游开发者能够有信心地采用这些基础模型。Shameek KUNDU:我们确实需要更多这样的安全保障。回到那个聊天机器人有许多使用场景的例子，您是否在测试时已经隐含地同时进行两方面的测试？因为如果您没有得到模型提供商的认证，您实际上需要同时测试模型本身及其在特定公司中的应用吗？April CHIN:是的。我插问一个问题：用到核能的比喻很有趣，因为现在对基础模型可能带来的危害有很高的意识。所以当我们与一些客户交谈时，他们可能会觉得“哇，我就像是在手里拿着一个小型核反应堆——我怎么知道这个小型核反应堆在我使用它时会做它应该做的事？”我们确实会与一些客户合作，测试基础模型，确保它在特定上下文中没有偏见，例如在新加坡的多元文化环境中，确保它不会对某些种族群体进行歧视。回到您提到的小型核反应堆的比喻，您怎么看待这种风险的延续性？在这个庞大的系统中，所有人都在承担风险，试图利用基础模型，您怎么看？Nitarshan RAJKUMAR: 这些系统本质上是完全不同的。我们正在构建的系统，实际上是试图复制所有的认知劳动，也就是任何人类能够做的事情，未来这些系统也能做到，有一个无限的能力面和无限的攻击面。从理想的角度看，作为一个企业，您可能会觉得我不应该去考虑国家安全问题，那完全超出了我的职责范围。我只是想卖产品或者做银行业务。您希望上游的相关方，比如政府，能够评测并确保这些“小型核反应堆”不会对任何使用它们的人造成国家安全风险。因此，您作为一个企业，应该不再去担心有些事情，因为您无法解决这些问题，它已经是一个社会层面的问题了。Shameek KUNDU:我认为我和April CHIN想表达的是，当前阶段那些构建“小型电气应用”的人，实际上也在明确地担心“核能插座”本身的安全性。因为如果没有政府的保证或者第三方的认证，他们实际上不得不考虑这些潜在的风险。所以，或许这是监管机构和第三方认证方可以考虑并解决的一个问题。Nitarshan RAJKUMAR:政府并不是所有问题的解决方案。像在很多其他领域一样，实际上存在一些非常有效的保险机制，或是量化和定价风险的方式，但目前在AI领域完全没有这些机制。AI发展得非常快，理想情况下，我们应该处于一个监管机构创造条件支持市场机制来量化和定价风险的环境中，这样人们就能得到除了政府说“这个不会被恶意使用”之外的其他保障。也就是说，除了监管者确认不被恶意使用外，人们还应该能通过市场机制来了解一个系统的可靠性，在特定环境中可能的失败方式，并据此作出决策。传统软件工程测试与AI测试的异同
Shameek KUNDU:很多测试实际上是经验性的，但AI系统包括了很多其他内容，本质上是一个软件系统，既有不确定的元素，也有确定的元素。如果回想自己在传统企业软件测试中的经验，而现在又在测试AI驱动的系统，您认为哪些传统经验可以带到AI测试中，哪些方面又会有很大的不同？
Robin WESTON:我非常赞同一种叫做“持续交付”的实践，这对软件工程师来说很重要，我看到有人点头。这个方法的核心思想是，您将小的更改不断地安全地发布到生产环境中，因为有科学证明，较小的变化更安全。如果出现问题，您可以追溯到问题的根源，因为发生问题的时间点比较短。而如果每三个月才发布一次大版本，出现问题时，可能会有很多潜在因素，追踪起来就很困难。许多企业现在仍然采用大版本发布的方式，而转型到持续交付方式后，您还能做很多事情，比如渐进式开启和关闭某些功能，在实际环境中观察系统的表现，并根据实际情况调整。但关键问题是，如何将这些原则应用到新兴的AI世界中，如何平衡提前进行测试和在生产环境中观察系统行为之间的利弊。AI系统和传统软件不同，在投入生产前，是否应该测试很多场景，测试的回报率是否值得？或应更依赖于生产环境中对系统行为的实时观察和调整？如何在不牺牲研发和部署速度的前提下应用这些实践，也是我在思考的一个问题。AI系统要做很多检查和防护，但如果这使得部署速度变慢，那实际上对产品不利。人们总是会绕过这些机制，所以我们需要找到一种方法，既能利用经过验证的做法保证系统的安全，又能在AI环境下高效运作。Shameek KUNDU:从您的角度来看，传统的软件工程测试领域是否已经能够解决这些问题？Robin WESTON:不，我认为在AI领域，仍然有很长的路要走。要坦率地说，仍然有许多组织并不完全相信我刚才说的这些内容，很多企业仍然处在转型的过程中。在AI领域，问题还远没有解决。
清华大学人工智能国际治理研究院（Institute for AI International Governance, Tsinghua University，THU I-AIIG）是2020年4月由清华大学成立的校级科研机构。依托清华大学在人工智能与国际治理方面的已有积累和跨学科优势，研究院面向人工智能国际治理重大理论问题及政策需求开展研究，致力于提升清华在该领域的全球学术影响力和政策引领作用，为中国积极参与人工智能国际治理提供智力支撑。
新浪微博：@清华大学人工智能国际治理研究院
微信视频号：THU-AIIG
Bilibili：清华大学AIIG
来源 | 本文转载自“安远AI ”，点击“阅读原文”获取更多内容
内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢