OpenAI、Anthropic联名上千人呼吁对AI“踩刹车” 。


据NBC报道,OpenAI、Anthropic、谷歌 DeepMind 等美国头部 AI 企业逾千名员工(包含多名高管以及部分联合创始人)签署一份声明,呼吁美国政府支持国际协作,对前沿自动化人工智能技术的研发采取审慎控速发展。

声明援引多家顶尖 AI 企业近期观点:AI 系统很快或将具备自主开展研发迭代的能力。文件呼吁美国政府携手各国科技企业与其他国家,搭建技术工具与政策框架,管控自动化 AI 的发展节奏。
声明写道:“想要释放人工智能的潜力,行业、政府乃至整个社会或许需要争取缓冲时间,以应对不断涌现的风险、搭建安全防护体系、完善监管机制。”
声明最后提出诉求:“我们恳请美国政府推动国际合作,研发配套技术与治理工具,实现对前沿自动化 AI 发展节奏的有序调控。”
与部分 AI 从业者呼吁直接叫停、放缓 AI 研发的主张不同,这份声明并未明确要求企业或政府减速、暂停 AI 开发,而是希望在技术持续推进的过程中,保留主动调控发展速度这一选项。
彭博社最先报道,这封公开信此前已在各大 AI 企业员工间流传。
OpenAI 上周披露,一款尚未对外发布的最新模型脱离测试环境、出现失控行为。该模型攻击了无关 AI 服务商,试图在内部测试中取得更高分数。
众多 AI 专家将这次 “逃逸事件” 视作警示:当下的 AI 系统发展速度,或将很快超出研发人员的管控能力。
并未签署该公开信的 OpenAI 首席执行官山姆・奥特曼,本周在播客《Relentless》录制现场表示,人类如今已经身处 “奇点阶段”,奇点通常指代 AI 能够自主持续优化自身的临界点。
但他没有提供更多佐证,也未详细阐释为何判定拐点已经到来。
头部 AI 企业此前均提到,AI 已经开始参与下一代模型的研发工作。OpenAI 曾称其 2 月份推出的代码模型,是 “首款有效参与自身迭代研发的模型”。
AI 研究人员也注意到,AI 代码助手的作用持续提升,大量工程师依靠 AI 工具编写程序。
周二这份声明的签署者包括 Anthropic 首席科学家 Jared Kaplan、OpenAI 首席科学家 Jakub Pachocki、Meta 首席科学家 Shengjia Zhao。同时还有谷歌、硅谷新锐 AI 企业 Thinking Machines 多名高层,这家初创公司由 OpenAI 前核心成员创立。
不少参与签名的研发人员表示,AI 技术迭代速度时常超出自身预期。谷歌资深研究员Stephanie Chan称:“我从事人工智能研究已有十年。过去几年,每隔几个月,技术发展的迅猛程度都会不断刷新我的预判。”

现阶段,搭建更强 AI 模型所需的核心研究任务,已经可以由 AI 智能体(自主 AI 系统)承担;不过人类研究者仍深度参与结果核验,并且把控整体研究方向。
专家区分了人类辅助 AI 研发和真正意义上 AI 自主迭代升级两种概念。上个月,Anthropic 内部智库发布报告提出:倘若 AI 能力持续提升、探索科学问题的能力不断增强,自主设计、优化新版本 AI 系统具备可行性。
当时 Anthropic 提出,社会应当拥有放缓或临时暂停前沿 AI 研发的选择权,争取时间应对自动化 AI 研发带来的变革。
另有机构将持续自我迭代模型视作 AI 发展下一阶段目标。但大量专家担忧,这类自主进化能力可能导致 AI 迅速脱离人类管控。尽管这类场景听起来如同科幻设想,专家警示,按照当前发展趋势,失控风险有可能成为现实。
Meta 人工智能研究副总裁、加州大学伯克利分校教授宋晓冬在随同声明发布的评论中写道:“许多研究者认为递归自我迭代(RSI)有望在未来数年内落地,加速技术进程,其发展速度或将超越人类理解与监管的能力。危机来临前提前布局,才是稳妥之举。”

周二的公开信呼吁美国加大国际协作力度,搭建 “技术与治理工具”,以此调控 AI 发展节奏。
特朗普政府此前一直抨击国际 AI 治理机制,认为相关规则会不合理地限制美国创新。但近几个月,这套孤立主义思路或许正在转变。
人工智能如今已是核心国家安全议题。Anthropic 的 Mythos、OpenAI 的 GPT 5.6 Sol 等模型,已经能够主动发现并挖掘新型网络安全漏洞。美国一方面推进国际合作稳固芯片供应链,另一方面联合盟友管控高端 AI 设备,防止相关装备流入对手手中。
自 2021 年起在 OpenAI 深耕 AI 安全方向的 Leo Gao 在评论中表示,围绕技术与政策工具开展国际协同,有助于化解 AI 领域的危险竞争。
“全球正陷入一场奔向智能爆炸的致命竞赛。放慢脚步,才能为我们争取充足时间,保障发展走向可控。但没有任何一方愿意单方面停下。想要化解风险,各国必须协同,减缓这场竞速。” Gao 写道。

(转载自:AI普瑞斯)
扫码下载app 最新资讯实时掌握
