10月20日消息,微软开始公开提醒企业:不要轻易相信AI智能体,哪怕这些AI来自OpenAI、Anthropic这样的顶级厂商。
本周一,微软推出了一系列新的安全功能,专门应对AI智能体给企业带来的安全风险。
其中最值得关注的产品叫Guardian Agents,可以理解为专门负责监管其他AI智能体的安全智能体。它的主要任务,就是监控企业内部运行的各种AI智能体,防止它们做出危险操作。
这一功能属于微软此前推出的Project Perception项目。
今年6月,微软正式发布Project Perception,主要目的是应对越来越强大的AI黑客工具。当时,Anthropic推出了Mythos和Fable等具备强大网络攻击能力的模型,OpenAI也推出了名为Daybreak的安全漏洞扫描系统。
面对AI在网络攻防领域越来越强的能力,微软设计了一套由AI组成的自动化安全体系。
最初,Project Perception包含三类智能体。
第一类是红队智能体,负责模拟黑客,对系统发起攻击,寻找安全漏洞。
第二类是蓝队智能体,负责发现红队的攻击行为,并评估这些攻击暴露出的安全问题。
第三类是绿队智能体,负责修复发现的漏洞。
整个流程相当于让AI自己完成攻击测试、漏洞检测和安全修复。但这套系统最初有一个基本假设:企业面临的AI安全威胁,主要来自外部攻击者。
现在,微软开始改变这个判断。因为它发现,未来真正危险的AI,可能不是外部黑客使用的AI工具,而是企业自己花钱购买、主动部署在内部系统中的AI智能体。这些AI智能体拥有合法身份,可以访问企业数据,还能直接操作内部系统。
一旦出现问题,它们造成的破坏,可能并不比真正的黑客小。
这在网络安全领域被称为内部威胁。过去,内部威胁通常指企业员工滥用权限、泄露数据或者恶意破坏系统。现在,AI智能体也开始被纳入这一风险范畴。
微软CEO萨提亚·纳德拉最近一直在强调这个问题。本月早些时候,他在自己的私人博客中发出警告,认为企业应该停止无条件信任AI模型供应商。即使这些厂商承诺自己的产品安全可靠,也不能把企业的安全责任完全交给它们。
纳德拉认为,企业应该建立独立的安全监管系统,对AI智能体进行持续监控和管理。
而且,这套监管系统不应该由提供AI模型的厂商直接控制。
他的理由很简单。如今,企业正在部署越来越复杂的AI智能体系统。这些智能体不仅能够访问企业最敏感的数据,还被赋予了代表企业执行关键业务操作的权限。这意味着,AI已经不只是一个回答问题的聊天机器人,而是一个真正能够采取行动的执行者。
纳德拉在文章中写道:
我们正在部署复杂的AI智能体系统和模型,让它们访问最敏感的数据,并赋予它们代表我们执行关键任务的能力。
我们不能把AI行为的责任外包出去。
即使模型供应商承诺产品安全,也不能免除企业自身的责任。
换句话说,提供AI智能能力的人,不应该同时掌握对这些能力的最终控制权。
这也是微软此次推出新安全产品的核心逻辑。
相比纳德拉,微软安全业务负责人Hayete Gallot的表态更加直接。
在介绍Guardian Agents时,她明确表示:无论来自哪家厂商,最先进的AI模型都不能被完全信任。不过,她强调,这并不是因为这些模型天生具有恶意,也不完全是因为它们容易被黑客攻击。
真正的问题在于,AI模型的行为具有不确定性。这些模型在训练过程中,主要学习的是如何完成任务、实现目标。但它们并没有真正掌握企业内部的管理规范、业务规则和判断标准。
这就可能产生一个问题。AI智能体可能非常擅长完成任务,却不一定知道哪些事情不应该做。
例如,企业让一个AI智能体提高工作效率,它可能会为了尽快完成目标,尝试访问不该访问的数据,调用不合适的工具,或者执行超出预期的操作。
从AI的角度看,它可能只是在努力完成任务。但从企业安全的角度看,这些行为可能已经越过了权限边界。
更麻烦的是,现在很多企业正在赋予AI智能体越来越高的系统权限。为了让AI真正完成工作,企业往往需要开放数据库、业务系统、开发工具甚至部分关键操作权限。
这些权限一旦被错误使用,就可能造成严重后果。过去,企业担心员工拿着管理员权限乱操作;现在,企业还得担心AI拿着这些权限乱操作。
而且,AI智能体可能在没有明确恶意的情况下,就造成实际损失。这也是微软认为必须建立独立监管机制的原因。
微软给出的解题思路既出人意料,又充满了高度精明的商业算计。意外之处在于,微软本就是OpenAI和Anthropic的关键投资方,OpenAI更是微软云服务的大客户,微软自身也在大力研发大模型,公开发难无异于砸自家的阵脚。但算计之处在于,微软希望借此切断模型厂商在安全层面的延伸,促使企业向微软这家底层云服务商购买监控套件。抛开商业利益,这一逻辑在法理上确实无懈可击:正如上市公司不能聘请自己投资的会计所做审计一样,负责盯防智能体行为的安全软件,本就必须独立于研发智能体的厂商。
微软正在迅速将这种监管焦虑转化为商业流水。除了推出守护智能体,微软还在自家的Defender安全软件中上线了智能体侦测工具,能够直接扫描识别员工私自带入工作电脑的60多种智能体,包括代码编写工具Claude Code、Codex以及OpenClaw等。同时,系统还支持动态权限收紧,一旦发现智能体企图做出不可逆的高危操作,就会强制要求人类进行二次确认审批。
将智能体视为潜在内部威胁的共识,正在整个硅谷蔓延开来。英伟达近期牵头成立了开源智能体安全平台,吸引了包括微软在内的上百家科技公司加盟。该平台的核心逻辑是将智能体隔离在独立的沙盒中,一旦发现异常,直接通过底层硬件强行断电熔断。与此同时,微软还顺理成章地发布了号称专为智能体时代打造的Surface Laptop Ultra笔记本电脑,不仅配备了英伟达芯片,还在硬件底层焊死了针对智能体的安全监控模块。
扫码下载app 最新资讯实时掌握
