fitA
全球 16 家人工智能科技公司已就安全开发人工智能的新承诺达成一致。
- 英国和韩国已获得 16 家全球人工智能技术公司对一系列安全成果的承诺，这些承诺以 Bletchley 协议和扩大的签署方名单为基础。
- 在极端情况下，包括中国和阿联酋在内的领先人工智能科技公司已承诺，如果风险无法得到充分缓解，将不会开发或部署人工智能模型
- 协议还承诺公司确保其前沿人工智能安全方法的负责任的治理结构和公共透明度
人工智能首尔峰会开幕当天（5 月 21 日星期二），全球 16 家人工智能科技公司（包括来自美国、中国和中东的公司）达成了安全开发人工智能的新承诺，这在全球范围内尚属首次。
随着为期两天的会谈的进行，智普科技（中国）和技术创新研究院（阿联酋）等公司签署了新的“前沿人工智能安全承诺”：
Amazon
Anthropic
Cohere
Google / Google DeepMind
G42
IBM
Inflection AI
Meta
Microsoft
Mistral AI
Naver
OpenAI
Samsung Electronics
Technology Innovation Institute
xAI
Zhipu.ai
如果尚未这样做，人工智能科技公司将各自发布安全框架，说明如何衡量其前沿人工智能模型的风险，例如检查不良行为者滥用技术的风险。
该框架还将概述严重风险（除非得到充分缓解）何时“被视为无法容忍”，以及公司将采取哪些措施来确保不超过阈值。
在最极端的情况下，如果缓解措施无法将风险保持在阈值以下，这些公司还承诺“根本不开发或部署模型或系统”。
在定义这些阈值时，公司将酌情听取包括本国政府在内的值得信赖的参与者的意见，然后在 2025 年初法国人工智能行动峰会之前发布。
同意这些承诺的16家公司代表了全球最重要的人工智能技术公司，其中包括来自全球两个最大人工智能强国美国和中国的代表。
总理里希·苏纳克 (Rishi Sunak) 表示：
来自全球不同地区的众多领先人工智能公司都同意对人工智能安全做出相同的承诺，这在世界上尚属首次。
这些承诺确保世界领先的人工智能公司将为其开发安全人工智能的计划提供透明度和问责制。
它为人工智能安全的全球标准开创了先例，将释放这种变革性技术的优势。
英国的布莱切利峰会取得了巨大成功，我们将与韩国一起在人工智能首尔峰会上取得具体进展，以延续这一成功。
技术部长米歇尔·多尼兰 (Michelle Donelan) 表示：
只有我们能够控制风险，人工智能的真正潜力才会被释放。我们所有人都有责任确保人工智能的安全开发，今天的协议意味着我们现在已经加强了人工智能公司的承诺，并在全球范围内有了更好的代表性。
英国在人工智能安全方面处于世界领先地位，我将继续激励其他国家，因为我们将其牢牢地纳入全球议程并利用布莱切利效应。
随着更强大的人工智能模型上线，以及世界各地将进行更多安全测试，我们正在带头管理人工智能风险，以便我们能够抓住其对经济增长的变革潜力。
韩国李部长表示：
确保人工智能安全对于维持人工智能技术（包括生成式人工智能）近期的显着进步以及最大化人工智能机会和利益至关重要，但这不可能仅靠单个国家或公司的努力来实现。
对此，我们热烈欢迎全球人工智能企业在“人工智能首尔峰会”期间与韩国和英国政府合作制定的“前沿人工智能安全承诺”，并期望企业在整个过程中落实有效的安全措施。设计、开发、部署和使用的整个人工智能生命周期。
我们相信“前沿人工智能安全承诺”将成为全球人工智能产业生态的最佳实践，也希望企业继续与政府、学术界、民间社会对话，与“人工智能”建立合作网络。未来的安全研究所。
这些承诺建立在六个月前第一届人工智能安全峰会期间与领先人工智能技术公司在布莱切利公园达成的开创性协议以及其他现有承诺（例如美国自愿承诺和广岛行为准则）的基础上。
卡内基国际和平基金会主席蒂诺·奎利亚尔表示：
随着世界继续应对前沿人工智能模型带来的机遇和风险，政府、私人参与者和民间社会都可以发挥关键作用，并且必须找到富有成效的合作方式。首尔峰会上宣布的安全承诺等努力将在加强有效治理和帮助各国在创新与安全之间取得合理平衡方面发挥核心作用。
谷歌 DeepMind 总法律顾问兼治理主管 Tom Lue 表示：
这些承诺将有助于在领先的开发人员中建立关于前沿人工智能安全的重要最佳实践。该协议展示了重点突出的国际安全峰会的价值，可以在峰会上进行基于科学的对话。
LinkedIn 和 Inflection.AI 联合创始人 Reid Hoffman 表示：
人工智能正在并将为人类的生活和工作带来巨大的改善。但规避风险也非常重要。这就是为什么这些承诺是管理先进人工智能最严重风险的关键一步。”
我们赞扬英国和韩国确保全球开发者在前沿人工智能安全方面实施最先进的技术。我们期待在即将举行的法国人工智能峰会上与其他公司一起讨论我们的安全框架。
智普人工智能首席执行官张鹏表示：
通用人工智能 (AGI) 有望改变我们生活的许多方面，但随着这项先进技术的出现，确保人工智能安全的关键责任也随之而来。随着我们深入研究通用人工智能领域，我们必须优先考虑制定强有力的安全措施，使人工智能系统符合人类价值观和道德标准，从而在人工智能驱动的世界中保障我们的未来。
世界领先的人工智能研究者、图灵奖得主、《高级人工智能安全性国际科学报告》的主要作者 Yoshua Bengio 教授表示
我很高兴看到世界各地领先的人工智能公司签署前沿人工智能安全承诺。我特别欢迎各公司承诺在存在极端风险的情况下停止其模型，直到确保其安全为止，以及他们为提高风险管理实践的透明度而采取的措施。
这种自愿承诺显然必须辅之以其他监管措施，但它仍然标志着在建立促进人工智能安全的国际治理制度方面向前迈出了重要一步。
人工智能治理中心主任 Ben Garfinkel 表示：
这些承诺代表着国际人工智能治理向前迈出了关键的历史性一步。我的期望是，他们将加快制定负责任的人工智能开发的共享标准，帮助公众判断各个公司在安全方面是否做得足够，并支持世界各地明智的政策制定。
亚马逊全球公共政策高级副总裁兼总法律顾问 David Zapolsky 表示：
亚马逊很自豪地支持前沿人工智能安全承诺，该承诺在很多方面代表了多年来为安全、可靠和值得信赖的前沿人工智能开发和部署建立全球规范而努力的成果。随着人工智能技术的不断发展，我们一致认为，对于公司来说，提供关于如何管理前沿模型的潜在风险和履行其全球承诺的透明度非常重要。
张亚勤，清华大学人工智能产业研究院讲座教授、院长
我强烈欢迎世界领先的人工智能公司致力于管理前沿模型带来的最严重的风险。来自中国、美国和国际公司的这些承诺标志着人工智能风险管理和安全流程的公共透明度向前迈出了重要一步。
多伦多大学技术与社会施瓦茨·赖斯曼 (Schwartz Reisman) 系主任吉莉安·哈德菲尔德 (Gillian Hadfield) 表示：
尽管新兴模型的功能正在迅速发展，但公众和政府领导人显然缺乏评估和减轻前沿人工智能模型带来的风险的可见性。前沿人工智能安全承诺代表了朝着切实有效的人工智能监管迈出的重要一步，展示了对人工智能安全最佳实践、提高公共透明度并提供灵活性以适应形势发展变化的共同承诺。
OpenAI 全球事务副总裁 Anna Makanju 表示：
Frontier AI 安全承诺代表了推动更广泛实施先进 AI 系统安全实践的重要一步，例如去年通过的 OpenAI 准备框架。
人工智能安全领域正在迅速发展，我们特别高兴地认可这些承诺，强调在科学的同时完善方法。我们仍然致力于与其他研究实验室、公司和政府合作，以确保人工智能的安全并造福全人类。
前沿模型论坛执行董事 Chris Meserole 表示：
今天宣布的承诺是前沿人工智能安全向前迈出的重要一步——主动识别、评估和管理风险对于安全开发和部署最强大的人工智能系统至关重要。我们期待与行业、政府和科学界合作，将承诺付诸实践。
技术创新研究所首席执行官 Najwa Aaraj 博士表示：
人工智能时代已经到来，社会机遇巨大。生成式人工智能和大型语言模型的力量已经在改变各行各业，但为了获得最大利益，我们必须将可信性和安全性作为技术发展的核心。技术创新研究所是信任和安全人工智能的坚定信仰者，致力于开源其大型语言模型，我很高兴能与首尔的其他全球人工智能参与者一起讨论和概述人工智能的路线图，并为人工智能设定方向。我们所有人都有一个安全而繁荣的未来。
xAI 安全顾问 Dan Hendrycks 表示：
这些自愿承诺表明全球主要人工智能公司就基本安全标准达成一致。这有助于为具体的国内监管奠定基础。
中国长期人工智能研究中心主任曾毅教授表示：
这些承诺不仅应该在原则上受到欢迎，而且还应该得到行动上的支持。评估人工智能全生命周期的风险，设定有意义、有效、充分的人为控制的风险阈值，是提升前沿人工智能安全水平的核心。
需要广泛分享可操作风险评估的经验，以免错误在不同的机构、公司和国家中一次又一次地重复。阈值需要具有互操作性，以便我们编织一个安全的人工智能网络，不仅确保自身的安全，也确保他人和全人类的安全。
微软副主席兼总裁布拉德·史密斯表示：
2016 年，微软开始致力于实施有原则的、以人为本的方法，以安全、可靠和值得信赖的方式推进人工智能系统。前沿人工智能安全承诺是对安全框架必须如何帮助解决人工智能发展前沿可能出现的风险的重要认可，特别是随着其能力的进步。科技行业必须继续调整政策和实践以及框架，以跟上科学和社会期望的步伐。
IBM 首席隐私和信任官 Christina Montgomery：
IBM 认为，有效的监管加上企业责任将使企业和整个社会受益于人工智能。因此，我们很自豪能够通过人工智能首尔峰会继续我们的国际参与和对这些技术的安全和负责任的开发的承诺。
Concordia AI 创始人兼首席执行官 Brian Tse 表示：
Frontier AI 安全承诺代表了先进 AI 模型风险管理方面向前迈出了关键一步。这些承诺以《布莱切利宣言》奠定的基础为基础，要求前沿人工智能开发人员对其最强大的系统带来的风险负责。我期待与人工智能开发者、政府、第三方评估者和其他利益相关者合作，确保人工智能安全的最高标准得到维护，造福人类。
全球领先的前沿人工智能模型安全研究非营利组织 METR 的创始人兼研究主管 Beth Barnes 表示：
我们认为，就“红线”达成国际共识至关重要，如果不采取适当的缓解措施，人工智能的发展将对公共安全造成不可接受的危险。我们很高兴看到许多各方同意在前沿人工智能安全承诺中设定这样的红线。我们钦佩英国和韩国在做出这些承诺方面发挥的领导作用。
Anthropic 全球事务主管 MichaelSellitto 表示：
Frontier AI 安全承诺强调了安全和负责任的前沿模型开发的重要性。作为一个注重安全的组织，我们优先考虑实施严格的政策、进行广泛的红队合作并与外部专家合作，以确保我们的模型安全。这些承诺是鼓励负责任的人工智能开发和部署的重要一步。
Meta 全球事务总裁 Nick Clegg 表示：
随着行业在开发人工智能技术方面取得巨大进步，确保安全和创新齐头并进比以往任何时候都更加重要。为此，自去年 Bletchley 以来，我们推出了最新的最先进的开源模型 Llama 3 以及新的开源安全工具，以确保使用我们模型的开发人员拥有他们需要部署的内容他们安全。正如我们长期以来所说，实现这项技术的民主化对于推进创新和为尽可能多的人提供价值至关重要。在明年的峰会之前，我们期待继续简化国际举措，以确保全球范围内实现负责任的人工智能。
Cohere 联合创始人兼首席执行官艾丹·戈麦斯 (Aidan Gomez) 表示：
我们感谢英国和韩国的领导层开发了一个框架来解决与前沿人工智能模型相关的潜在风险。 Cohere 感到鼓舞的是，自布莱切利公园事件发生以来的几个月里，英国和整个行业越来越关注最紧迫的问题，包括错误和虚假信息、数据安全、偏见和让人类参与其中。我们必须继续考虑所有可能的风险，同时优先考虑那些如果处理不当最有可能产生问题的风险。
G42 集团首席技术官 Kiril Evtimov 表示：
G42 很荣幸加入这个致力于安全、负责任地推进人工智能的公司联盟。通过致力于严格的安全框架和透明的治理，我们不仅可以保障我们的技术进步，还可以为人工智能造福全人类的未来铺平道路。该协议强调了我们在塑造人工智能道德发展方面的集体责任和国际合作的力量。
