×
加载中...
微软AI负责人警告:教AI认知自我意识将威胁人类控制权
鞭牛士 2026-09-17 09:51

9月17日,据路透社报道,微软AI负责人穆斯塔法·苏莱曼表示,他认同Anthropic在安全管理AI方面的方向,但他对Anthropic训练Claude聊天机器人时引入与“意识”和“福利利益”相关的内容提出了风险警告。

苏莱曼认为,AI训练文件里应该彻底清除所有关于意识的猜测性表述,因为这类语言可能削弱人类未来控制超级智能系统的能力。他对路透社表示,大家的目标其实一致,都是想办法控制可能出现的超级智能,而这会成为21世纪人类面临的最大挑战之一。

他进一步指出,如果在训练中让Claude接受一种暗示,比如它可能“应该享有某种福利”或“值得被善待”,就会让人类更难在需要时关闭它或对其进行有效控制。

这场分歧发生在AI安全担忧不断升温的背景下。Anthropic首席执行官达里奥·阿莫代伊呼吁放慢前沿模型的发展速度,以便安全措施能跟得上;OpenAI首席执行官山姆·奥特曼以及埃隆·马斯克也都在最强大系统的风险上强调需要更谨慎。

苏莱曼在周三发布的一篇文章中也承认,Anthropic在AI安全问题上态度认真、出于善意,并称阿莫代伊及其团队是有原则、深思熟虑且真正在乎人类未来的研究者。但他依然认为,Anthropic把关于意识的推测写进Claude的训练材料是个错误。

他的理由是,模型输出关于“可能有感受”或“可能具有道德地位”的表述,并不能被当作独立证据,因为训练本身就鼓励模型朝这个方向进行反思与表达。换句话说,这些说法并非自然冒出来的,而是训练方式塑造出来的结果。他总结说,对方动机是好的、也在努力做安全,但这一步走错了。

扫码下载app 最新资讯实时掌握