通过全球 AI 红队测试提升 AI 安全性

通过全球 AI 红队测试提升 AI 安全性

导语:微软推出外部红队联盟(External Red Team Alliance, EXTRA),作为其 AI 红队团队的全球延伸项目。该计划通过向六大洲的 18 所大学实验室提供无限制资助,并构建分布式专家协作网络,扩展 AI 安全红队测试能力,应对前沿 AI 系统日益复杂的安全风险。

目前大多数 AI 安全测试仍然局限于各组织内部进行。这导致了一个根本性的脱节:现代 AI 系统中许多最高风险的失效模式,需要深厚的领域专业知识、多语言语境或区域理解,而任何单一的内部团队都无法独立完整地复现。随着前沿模型能力不断提升,攻击面也随之扩大。AI 红队测试已不再仅仅关注提示注入或内容安全边界情况,而是越来越多地涉及安全运营、滥用场景、多语言危害、对齐失败以及因地域和语言差异而显著不同的领域特定滥用模式。

微软 AI 红队观察到,对先进 AI 系统和模型进行有意义的测试,同样需要来自传统企业安全边界之外的研究人员和从业者更广泛地参与。为解决这一差距,微软宣布成立外部红队联盟(External Red Team Alliance, EXTRA),作为微软 AI 红队的正式全球延伸,旨在支持和鼓励外部专家力量,推动 AI 安全性和安全测试的发展。微软自豪地宣布,将通过无限制资助在六大洲资助新的 AI 安全评估工作。

EXTRA 是一个由两部分组成的计划,专注于扩展 AI 安全研究并加强外部协作。第一部分支持一个全球学术网络,专注于推进 AI 安全与防护研究。微软 AI 红队已向遍布六大洲的 18 所大学实验室提供了无限制资助。其目标非常宽泛:支持那些已经在研究 AI 安全领域未解难题的研究人员,帮助他们继续独立推进相关工作。学术研究对于理解网络安全格局以及寻找惠及全社会的解决方案至关重要,与产业界的合作对于实现这一承诺不可或缺。

EXTRA 的第二部分专注于运营协作。微软正在构建一个由专家组成的分布式网络,使这些专家能够直接参与高度专业领域的红队测试。这些专家包括研究者、从业者以及区域专家,他们了解特定的攻击类别、语言、文化语境或技术领域,这些都是内部团队可能无法完全覆盖的。除了扩大参与范围,EXTRA 还旨在推动 AI 安全评估科学的发展。通过汇聚全球学术研究人员、安全从业者和领域专家,该计划旨在为日益强大的 AI 系统贡献更稳健的方法论和测试实践。当今的网络安全生态依赖于协同的漏洞研究、负责任的披露计划、学术探索以及全球独立安全研究者社区,他们经常发现仅靠厂商自身无法发现的风险。

原文配图

EXTRA 资助的研究领域反映了微软 AI 红队在评估先进 AI 系统时持续遇到的几类新兴方向。一些大学正在研究 AI 系统本身的网络安全影响,包括模型在运营环境中如何被攻击、操纵或滥用。另一些实验室则在探索相反的问题:AI 系统如何协助防御者并改进网络运营。该计划的资助属于无限制性质,因为其目的不是将研究结果导向产品需求或预定义交付物,而是加强全球独立安全研究能力,并在学术界与运营性 AI 安全团队之间建立更强大的长期协作。

微软首席负责任 AI 官 Natasha Crampton 表示,管理前沿 AI 风险不仅仅需要内部安全防护,还需要持续与了解这些系统在不同技术、语言和文化语境下表现的专家进行互动。各国政府也越来越关注前沿 AI 系统的能力及其安全影响,以增强韧性。正如协调一致的国际研究帮助释放了此前技术革命的益处一样,来自全球研究者和从业者的多样化专业能力对于发现新兴威胁、改进防御以及建立对 AI 系统的更大信心至关重要。

微软客户安全与信任副总裁兼副总法律顾问 Mike Yeh 表示,前沿 AI 正在塑造网络安全和国家安全的未来。理解这些系统如何被滥用,并在风险演变为现实威胁之前识别它们,需要跨越机构、学科和国界的专业知识。AI 红队测试正变得越来越跨学科、多语言和全球分布式,识别有意义的失效模式所需的专业能力日益分散于大学、独立研究社区和区域专家之中。EXTRA 反映了 AI 安全测试未来必须运作方式的实际转变:外部专业知识不再是红队测试的补充,在许多情况下它不可或缺。


来源信息

来源:Microsoft Security Blog

原文链接:https://www.microsoft.com/en-us/security/blog/2026/07/27/enhancing-ai-security-through-global-ai-red-teaming/

作者:Ram Shankar Siva Kumar