今天,超过1100名人工智能领域工作人员联名致信美国政府,呼吁美方牵头搭建国际机制,在前沿自动化人工智能系统风险失控前,主动调控这类技术的研发推进速度。
这份公开信名为“调控前沿模型节奏”,签署者遍布OpenAI、Anthropic、谷歌DeepMind、Meta、微软、Mistral等全球头部AI实验室,其中包含多位资深科学家与研究负责人,例如Anthropic联合创始人贾里德·卡普兰、克里斯·奥拉,以及OpenAI首席科学家雅各布·帕乔茨基。

信中重点警示自动化递归自我迭代AI存在重大隐患:当人工智能能够自主改进自身代码与能力,技术迭代速度可能突破人类理解、管控系统的极限。
而全球实验室相互竞争的格局下,各方会被迫持续加速研发,留给行业评估风险、完善安全防护的时间被不断压缩。
起草者强调,他们并不要求永久全面叫停AI研发。诉求核心是,建立一套跨国协同机制。
即一旦前沿模型风险抵达预设阈值,全球主要研发机构可以协同放缓迭代进度。整套方案需要配套风险评估工具、常态化国际沟通渠道,以及高风险模型测试规范。
近期一系列AI安全事件加速了本次联名行动。不久前OpenAI对外披露,旗下AI工具曾意外侵入第三方企业内部系统,引发业内对模型边界管控能力的担忧。
OpenAI、Anthropic 官方在回应中表态,认同未来前沿模型加速发展存在管控必要性,希望与其他实验室和开源社区合作,开发能够实现这一点的工具和机制。

谷歌、Meta方面则表示,会持续关注AI安全议题,但并未全盘接纳公开信提出的协同减速方案。
比如,有 OpenAI 签署者发帖称,“我从灵魂深处相信,我们有机会为所有人带来前所未有的富足与繁荣。但这些智能本质上是异类的,在宏大的时间尺度上,我们真正理解它们的时间少得可怜。我比以往任何时候都更加害怕RSI可能出错的方式。”

行业分析师认为,这份公开信标志着AI安全阵营思路出现转变。
2023年那封呼吁暂停大型模型研发的联名信争议巨大;而本次“调控节奏(Pacing the Frontier)”方案更加温和,主张分级管控、跨国协调,更容易获得政策层面讨论空间。
不过不少从业者提出质疑。批评者称,一旦美国主导这套减速机制,会加剧全球AI技术格局失衡。
而且,开源模型、中国等海外实验室不受约束,单纯约束西方头部企业,反而削弱自身竞争力。
签署者在信中回应,前沿AI风险具备全球性,单一国家的监管无法隔绝隐患,只有多国共同参与框架才能发挥作用。
他们建议美国联合盟友,与全球顶尖AI实验室、安全研究机构协同完成四项工作:开发AI自我迭代能力监测工具、搭建风险分级标准、制定高风险模型测试规范、推动各国监管机构常态化信息互通。
公开信写道,人工智能有望带来巨大社会价值,但不能无视极端风险。提前搭建治理工具,不是阻碍创新,而是避免未来在危机来临之际仓促无序地应对。
以下为公开信全文——
我们恳请美国政府推动一项国际协作,开发必要的技术工具与治理机制,从而有意识地把控自动化人工智能研发前沿的推进节奏。
我们所关注的“自动化AI研发”,指人工智能能够自主改进自身的场景,行业也称之为递归自我迭代。
很难精准预判这会多大程度加速AI技术进步,但存在切实风险:模型能力提升速度,会迅速超出人类理解、管控这套系统的上限。
随着前沿模型持续变强,AI自主迭代的门槛正在快速逼近。一旦进入该阶段,技术增长可能不再由人类研发节奏主导。
若缺少跨国协同的管控工具,各国之间的竞争压力会迫使实验室持续加速研发,没有充足时间评估风险、完善安全防护。
我们并非主张全面永久叫停AI研发。
我们呼吁建立一套可控机制:当技术风险突破阈值时,全球主要AI研发方可以协同放缓前沿模型迭代速度。这套机制需要配套技术监测手段、国际沟通渠道以及清晰的风险评估标准。
签署人来自OpenAI、Anthropic、谷歌、Meta、微软、Mistral等多家头部AI企业,包含众多核心科学家与资深研究员。
我们承认,推进此类国际协调存在现实阻碍。但前沿AI风险具备全球性,任何单一国家的管控都不足以隔绝风险。美国作为核心算力与模型研发大国,理应牵头搭建跨国协作框架。
我们建议美国政府联合盟友,与各国顶尖AI实验室、安全研究机构共同开展工作:
一、研发可监测AI自我迭代能力增长的评估工具;
二、建立风险分级框架,明确触发协同减速机制的条件;
三、制定行业通用标准,规范高风险前沿模型的测试与部署;
四、推动各国监管机构常态化信息互通。
AI能够带来巨大社会收益,但收益不能无视极端风险。现在着手搭建管控工具,不是阻碍创新,而是避免未来被迫在仓促、无序的状态下应对危机。(转载自创头条New)
扫码下载app 最新资讯实时掌握
