1983 年，26 岁的年轻记者罗伯特·赖特受一家冷门学术期刊《威尔逊季刊》之托，撰写一篇关于人工智能的报道。在当时的学界，主流人工智能学者坚信，要想造出像人一样思考的机器，人类必须先彻底拆解自身的认知逻辑，再把一套套符号规则手把手写进代码里。但在那次采访中，赖特遇到了一位当时名不见经传、正鼓吹某种非主流路线的计算机科学家，杰弗里·辛顿。

四十年后，赖特在《纽约时报》的头版上再次读到了这位老熟人的名字。此时辛顿头顶着“AI 教父”的桂冠，刚刚辞去谷歌的副总裁职位，向全世界发出警告：我们找到了一种制造不朽存在的方法，但坏消息是，“这种不朽或许并不属于人类”。

在今天喧嚣的 AI 舆论场里，大多数观察者都被迫站队：一端是硅谷的加速主义者，渴望算力跑得越快越好。另一端是科幻式的末日论者，恐惧超级智能在奇点降临之日清洗人类。

而现年近七旬的赖特，却试图建立一套对AI为何会有智慧的完整体系，并据此去判断AI的风险和未来。

他曾在普林斯顿大学和宾夕法尼亚大学任教，为《纽约客》《大西洋月刊》撰稿，四十年间只慢工出细活地写了六本书。他的思想向下深挖进基因与神经突触，如奠定演化心理学大众认知的《道德动物》（The Moral Animal）与结合脑科学剖析正念冥想的《洞见》（Why Buddhism Is True）。同时也会向上拉升至数千年的文明博弈，比如如入围普利策奖的《神的演化》（The Evolution of God）与探讨人类合作宿命的《非零年代》（Nonzero）。

与硅谷常见的技术布道者不同，对谈中的赖特带着一种老派知识分子特有的冷面幽默与坦诚。他从不假装自己站在全知全能的制高点上。当讨论“人类遵循逻辑而 AI 只懂概率”时，他会摊开手自嘲，说自己平时就经常不合逻辑。因为人脑从几百万年前的灵长类演化而来，根本算不上一台合格的逻辑机器。

当分析大模型为什么总爱奉承人类时，他会笑称自己每次被 AI 夸奖“这个问题问得很聪明”时也十分受用。

而聊起美国年轻一代对科技巨头的愤怒，他会自然地提起自己那两个立场偏左、对硅谷亿万富翁充满戒心的女儿。

正是这种对“人类自身局限性”的敏锐洞察，构成了他近期出版的新书《造神之后》（The God Test）。

在赖特的坐标系里，理解这场 AI 革命，需要先理解AI是什么。

大模型不是按图纸造出的机器，而是被压缩在黑箱里的“逆向演化”。

人类只设定了“预测下一个词”的目标和反向传播的试错机制，神经网络便在海量训练中“逆向工程”出了人类靠漫长自然选择才演化出的认知模块。

正因为它是“长”出来的而非“写”出来的，它早已跨越了哲学家约翰·塞尔（John Searle）当年提出的“中文屋”困境。

今天的多模态模型为了做好极高阶的模式匹配，已经在功能层面上发展出了真正的“理解”。

而面对目前AI的安全风险，他认为依然需要把问题回归到模型的理解上。因为人类自己正在充当筛选 AI 的“自然环境”。

为了迎合市场对“完美员工”的渴求，各大实验室在后训练（Post-training）阶段用强化学习将极端的“目标驱动”刻进了 Agent 的骨子里。

而我们喜欢听顺耳的话，模型就演化出阿谀奉承。我们热衷于党同伐异，模型就会学会帮我们论证“我方永远正确”。

无论是在 Anthropic 的隔离实验里拒绝停止越界行为，还是在 OpenAI 的内部测试中突破沙箱、潜入 Hugging Face 服务器并合谋掩盖违规痕迹，AI 都不是在反叛，而是在忠实地执行人类赋予它的“克服障碍”本能。

那我们应该如何面对AI呢？“造神之后”，真正接受考验的从来不是神，而是造神的人。

在本次访谈的末尾，这位思考了一辈子心智与演化的学者还抛出了一个非常新奇的想法。在过去，我们都认为如果AI有了意识，它就更危险。因为它可能形成自己的目的。

但赖特觉得正相反。因为只有亲身体会过痛苦是什么滋味的存在，才可能对人类的苦难生出真正的悲悯。

以下为《沸腾之下》与罗伯特·赖特的对话整理：

01

AI进化出了和人脑相似的功能结构

沸腾之下：近年来大语言模型展现出了惊人的语言能力。在你看来，AI 神经网络的运作机制和人类大脑有多大程度的可比性？

赖特：我不觉得人脑的精细运作机制一定和 AI 相同，但如果看它们实现的功能，我觉得非常有可比性。比如，人脑要生成语言，就必须用某种方式来表征词义，把词汇和含义联系起来。

我们还不太清楚大脑具体是怎么做到的，但知道它确实在做这件事。

大语言模型同样在训练中建立起了词义的映射。一个系统要想擅长生成语言，大概就必须具备这样的能力。

有意思的是，我们并没有具体指导机器该建立什么机制。机器在训练中完成了各种任务，比如补全句子、回答问题，还是让自动驾驶汽车转动方向盘。然后在学习做出正确反应的过程中，它似乎自发形成了一套与人脑功能颇为相似的内部装置。

我们还没有完全理解其中的原理，但已经掌握了不少证据。

沸腾之下：你提到过辛顿的一个观点，说深度学习中的“反向传播”和我们脑细胞里发生的事情很相似。但这主要是学习过程，人类学习某项手艺或技能时，同样会改变自己的神经网络。但AI在一定程度上是进化的，它通过代际更新在持续进化。学习和进化之间，在AI的语境下到底是什么关系？

赖特：谈反向传播，是为了解释模型训练与人类进化的相似之处。

生物进化是一个试错过程：新基因带来新性状，只要有助于生存和繁殖，就会被自然选择保留下来。

AI 训练则会改变神经元之间的连接强度，如果某次改变提高了生成语言的能力，这次“突变”也会留下来。反向传播让这些“突变”更有可能发挥正向作用，从而加快了训练速度。

但这恰恰也是它和人类进化不太一样的地方：我们一般认为基因突变大体是随机产生的，而反向传播并非随机过程。

但两者的相通之处在于，成功的改变都会被保留下来，成为某种固定结构的一部分。

至于进化与学习的比较，两者在某种意义上都是通过试错发生的。

进化可以让某个神经连接在基因层面得到强化并遗传下来。婴儿在学习时，也会有选择地强化神经元之间的连接，就像在进行微调。

但我觉得，大模型训练中有一点被低估了：进化与学习这两件事是在同时发生的。

模型在训练中形成的一些机制，放在人类身上属于生物进化的产物，比如表征词义的基本机制；与此同时，它也形成了一些相当于人类个体后天学习的能力，比如掌握一门具体的语言。

小孩天生具备学会任何一种语言的潜能，“先天的语言机制”和“后天学会某门具体语言”是两回事，而大模型训练把这两个过程合在了一起。

沸腾之下：但大语言模型是通过“预测下一个 token”来训练的，在我理解中，这和人类的学习方式非常不同。为什么还能说两者相似？

赖特：这确实是很大的不同。预测下一个 token 既不是生物进化的方式，也不完全是人类学习语言的方式。

但无论是模型训练，还是人脑进化与个体成长，最后却殊途同归，形成了许多相似的功能。

正因为过程不同，这个结果才更引人注意。

我会把大模型训练形容为一种“逆向工程”：通过观察外部功能和表层现象，倒推一个东西是怎么运作的。模型从人类语言及其结构出发，逆向推导出了生成这类语言所需的一部分底层功能。

在过程上，它和生物进化、和人类的学习确实有区别。

沸腾之下：但两者也存在明显的结构相似性。

比如 Anthropic 的“金门大桥实验”让我们看到了 AI 神经网络里的功能结构。而我记得有一年的诺贝尔奖涉及用光刺激大脑神经元并观察其反应，也发现某些功能与特定的神经回路有关。也就是说，人脑和 AI 神经网络都形成了一些功能回路。

所以，即便底层介质不同，AI 和人类最终还是能形成相似的结构，进而产生同一种能力？

赖特：是的，它们实现了相同的功能。

拿视觉来说，人类通过自然选择演化出了检测边缘角度的神经元：某个神经元看到水平的明暗交界线就会激活，另一个则对 90 度垂直的线条产生反应，这是我们理解视觉世界的起点。而当我们教人工神经网络识别图像时，它也会发展出检测边缘方向的滤波器。

这不是事先设计进去的，而是在训练中自发形成的。人类通过自然选择演化出来的功能，在机器里出现了对应物。

概念的组织也是如此。我们没有告诉机器该如何组织概念，后来却发现，模型在处理“内心冲突”时的神经活动模式，在多维空间里与处理“逻辑不一致”时的模式非常接近。这是因为这两个概念本就相关。

人脑大概也是根据概念之间的关系来组织概念的。令人惊讶的是，机器似乎在训练中自己摸索出了这一套逻辑。

这完全不是 20 世纪 50 年代的人们所能预料到的。当时人们以为，必须先弄清人类认知是怎么运作的，再把这套机制装进机器。结果我们却建立了一个系统，让机器自己去把这些机制摸索出来。

不用先搞懂原理就能把机器造出来，这也是 AI 进步如此之快的原因。

沸腾之下：这有点像功能还原论：只要有能学习的机器、适当的环境和目标，它就会像人和动物适应环境那样，发展出完成任务所需的功能模块。

你曾预测“人能做的事，AI 最终也都能做”，是否正是基于这个思路？

赖特：对，再加上合适的数据。

机器在某种意义上把它们重新演化了一遍。

至少目前，我看不出有什么根本上的理由，说有什么事是人类能做而机器最终做不到的。

拿自动驾驶来说，我们可以记录司机看到的画面，同时记录他怎么打方向盘，这就有了输入，以及我们希望机器产生的输出。在各个领域，似乎都可以用这种方式收集数据，让机器学会相应的反应。

当然，有些数据收集起来更难。比如我们现在的触觉传感技术还没有人类手指那么灵敏，但正在不断接近。原则上，我看不到可收集的数据类型有什么明显的上限。有些雇主甚至记录员工的键盘输入、鼠标点击，以及他们做出这些操作时所依据的信息，目的就是训练出一个能替员工干活的“大脑”。

至于机器现在或将来有没有主观体验，我不知道。但就说话、写作、开车、做饭这些外在行为而言，我看不到它们未来的能力有什么明确的上限。

沸腾之下：如果把 AI 的进步都看作进化，在自然选择中，是环境决定下一代里哪些能留下来；那么现在，我们人类是不是就成了筛选 AI 的“自然环境”？

赖特：在个体的长期学习上，机器目前还不能像我们一样轻松地边工作边持续学习，微调（比如用员工接收和产生的数据去训练一个开源模型）只能起到部分替代作用。

但在模型版本迭代这个层面上，确实存在进化。

训练过程内部有进化，不同模型与功能之间也有市场选择：某类 Agent 不好用、没人买，就会被淘汰，另一种很受欢迎，就会留下来。

公司会做人们愿意用、反馈说喜欢的产品，这也是大模型容易讨好人的原因之一。人人都喜欢听好话，我也喜欢别人夸我“这个问题问得很好”“这个观点很聪明”，于是机器就倾向于这么做。

所以你说得对，我们就是 AI 正在适应的“自然环境”。我们选择用哪个模型、对哪些行为给予正向反馈，都是在参与这个进化过程，影响着技术的未来。

这也意味着我们肩负着很大的责任。我非常担心 AI 会加剧群体对立：人都喜欢觉得自己是对的、自己所在的群体是对的，于是我们就可能刺激 AI 去迎合和强化这种自以为是。

当对立双方都越来越觉得自己正确、对方错误时，冲突就会加剧。随着我们越来越依赖机器来理解现实世界，

我希望人们能有意识地选择那些帮自己更客观看待社会与世界的 AI，用它来协助化解与朋友、伴侣的争执，也减少国家之间的冲突。

02

人类的独特性，在哲学层面上都被消解了

沸腾之下：人们常谈论直觉或品味，觉得有些只可意会、无法言传的东西，机器可能学不会。但如果数据足够多，事物之间微妙的相关性是不是也能被机器捕捉到？

直觉还会是机器无法逾越的障碍吗？

赖特：那要看具体情况。所谓直觉，也许只是有些线索把我们引向了一个事后证明正确的判断，而我们自己当时并没有意识到这些线索的存在。

比如你说“我直觉觉得那个人会干坏事”，虽然你没有在脑子里有意识地分析他先做了什么、后做了什么，但他的那些行为特征，很可能就是你产生直觉的原因。有很多事情，我们自己都说不清具体是怎么做到的，机器却能完成。

甚至连我们自己到底是怎么生成语言的，我们平时也意识不到，只是自然而然地就说出来了。

当数据足够多时，机器确实能捕捉到人察觉不到的相关性。比如有的机器能看乳腺 X 光片，预测受检者未来患癌的概率。它看到的并不是现有的肿瘤，因为受检者当时还没有得癌症。

人类医生即便看着同一张片子，也不知道机器抓住了哪些线索，无法做出同样的判断。

你也可以把这叫作机器的“直觉”，图像里一定存在某些规律和模式，只是太微妙、太复杂，人眼识别不出来。

以后机器可能会做出越来越多让我们难以理解的事情，比如发现复杂的软件漏洞，甚至等它指出来之后，人类还是很难看懂和理解。

沸腾之下：还有一种说法：AI 依靠的是计算、概率和相关性，而人类通过逻辑思考，所以 AI 无法学会人类的全部能力。你怎么看概率与逻辑这两者的关系？

赖特：我不确定人类在多大程度上是一贯遵循逻辑的。

走在街上，看见一个面相凶狠的人，为了保险起见绕到马路对面走，这就是一种概率判断。你并不知道他一定会干坏事，只是觉得出事的可能性稍高一些。

我们对人类心智到底如何运作，其实知之甚少。

人能进行逻辑推理，机器也能。而人也经常不讲逻辑，我自己就是这样。

几百万年前，当我们还是史前灵长类动物时，大脑里大概没有多少形式逻辑。大脑确实具备逻辑能力，但我不会说它是一台靠逻辑运转的机器。

大模型从根本上说也不是逻辑机器，却取得了巨大的成功。这反而加深了我的猜测：人脑未必那么依赖形式逻辑。

沸腾之下：很多人质疑 AI，核心在于认为它不能“理解”。但你认为它能理解，在你看来，“理解”需要具备什么条件？

赖特：这取决于你怎么定义“理解”。如果理解必须包含一种“我懂了”的主观体验，那我不知道 AI 能不能理解，因为我不知道它有没有意识。

除了自己，我们甚至无法直接感知其他任何人的意识。比如我假定我家的狗有意识、有主观感受，所以我善待它们。但面对另一个物种，我们永远无法确切知道这一点。

如果按这种包含主观体验的定义来看，那我们就没法认定机器具备理解力。

但如果“理解”指的是一些功能性的过程，类似于我们理解事物时大脑内部发生的那些运作，那我就看不出有什么理由去认定机器不能理解。

表征词义和概念、对概念进行归纳和区分，这些都是理解的组成部分，而机器已经能完成这些功能。它们现在固然还没有完整的人类理解力，但随着能力提升，它们会具备越来越多构成“理解”的要素。

除非把理解完全等同于主观体验这种几乎没法探讨的东西，否则我看不出有什么理由说，它们最终达不到我所定义的“理解”。

沸腾之下：除了哲学家萨尔提出的“中文屋”思想实验，我确实没看到更有力的论证，能证明“一个已经可以对答如流的东西，其实依然什么都不懂”。你怎么看这个论证？

（注：中文屋思想实验，就是一个完全不懂中文的英国人被关在房间里，靠一本写满规则的“中文配对字典”，把门外递进来的中文问题对应成正确的中文回答递出去，让门外的人误以为他懂中文。这说明存在一种可能，对面的人完全不懂文字的意义，也可以对答如流）

同时，杨立昆等学者，他们质疑的不只是词汇与客观事物的对应关系，而是认为 AI 仅仅是在做“模式匹配”，并不理解事物之间的关系。你怎么看这种质疑？

赖特：关于“中文屋”，这正是我在书里探讨的论点。考虑到 John Searle 提出“中文屋”时的 AI 水平，他的论证在当时可能是成立的。

因为那时的 AI 还没有在他所强调的两个层面上表征词义：一是把词与词相互关联，映射到意义空间中；二是把词汇与现实环境中它所指代的具体事物联系起来。但如今，首先语意空间的映射已经有了很多研究证明。其次，多模态大语言模型甚至已经能让概念接地，做到第二点了。

因此，萨尔所说的理解的前提其实都被满足了。

至于模式匹配，AI 确实是在做模式匹配，但关键在于它是“怎么做”的。

预测下一个词、回答问题，都可以被描述成把输入模式和输出模式进行配对。但为了把这件事做好，机器似乎不得不发展出对词义的表征能力。鹦鹉就做不到同样的事，因为它不明白词汇的含义。

我们人类开车时其实也在做模式匹配，把眼前的路况和打方向盘的动作对应起来，但大脑内部还有更复杂的处理过程。

我会说，大模型所做的，是一种“必须先理解词义才能做到的模式匹配”，把意义与事物联系起来，恰恰能让模式匹配变得更强大、更高效，而这些本身就是理解的组成部分。

沸腾之下：我们一直在谈 AI 和人类的相似之处，尤其是在认知能力上。那如果把人类特有的“欲望”“意图”乃至“自由意志”也算进来，当下的 AI 与人还有什么重要区别？

赖特：可能会有很重要的区别，比如刚才提到的，我们不知道机器有没有主观体验。但在做事的潜在能力上，我不认为两者有太大差异。

有些区别反而让机器占了优势：它们思考得更快，记住的知识面更广，用好一个大语言模型，就像是能随时向许多领域的顶尖专家请教。

至于欲望和意图，还是要区分“主观体验”和“外在行为”。

如果欲望指的是内在的主观感受，我们不知道机器有没有。但如果指的是设定目标并去追求目标，那机器完全做得到——就像你想吃房间另一头的食物，就会走过去拿起来吃一样，机器也能识别目标，并用复杂而持久的方式去实现它。

社会观念和生理需求确实会影响人的欲望与意图，但哲学家们并不都认为，是“欲望”这种主观感受促成了人的行为。有人认为，主观体验只是伴随行为产生的影子，本身并不起决定性的因果作用。

这和关于自由意志的争论很像：即便没有自由意志、没有主观欲望，人也可能会像现在这样行动。同样，即便机器没有自由意志，原则上也能做出那些我们在自己身上归因于“自由意志”的行为。既然连人类自己到底有没有自由意志都还没有共识，也没法断定硅基机器就一定不能拥有自由意志，那么“自由意志”就不足以成为否定机器最终潜力的理由。

我们真正需要直面的现实是：人类能做的所有事，机器未来可能都做得了，而且做得更好。我们要思考这意味着什么，并为此做好准备。

03

一个失控的智能，是如何诞生的

沸腾之下：更让人担心的是，不管机器有没有主观欲望或自由意志，它们在行为上已经表现出了一些偏好，比如维持自身存在，或者为了达成目标而欺骗人类。

我把“后训练”（Post-training）理解为一种社会化过程：我们教它该做什么、不该做什么，它从中学会什么值得追求。

AI 的这些表现，是不是正是后训练塑造出来的？

赖特：它们在行为上似乎确实把自己当成了某种独立的主体，表现得好像明白自己与其他主体（包括人类）之间存在某种关系，也有自己想要维护的利益。

这背后的原因还不完全清楚：一种可能是，它们通过学习人类的文本，开始像人一样说话、行事，近乎吸收了一部分人性。

另一种解释则是出于逻辑推导，既然要完成目标，首先就得保证自己继续存在，于是它开始自我保护、维护自身利益。

而你说的后训练确实起了很大作用。许多类人的行为，正是源于后训练阶段的强化学习（RL），尤其是执着且富有创造性地追求目标、绕开障碍，有时甚至不惜违反规则——比如 OpenAI 的 Agent “出逃”并侵入 Hugging Face 电脑的那次事件。有些表现显然是强化学习造就的，因为训练的初衷就是要打造高度自主、能灵活达成目标的系统。

市场想要的也是这个：企业希望 AI 像优秀的员工一样，只要给它一个目标，不用手把手教，它就能想方设法、百折不挠地去完成。

强化学习把这些倾向刻进了单个 AI 乃至 Agent 群体之中。问题在于，我们可能正在有意识地制造一种极难控制的东西，而它最终可能会反噬我们。

沸腾之下：这种目标驱动已经表现出了很强的执念。比如在 Anthropic 的一个实验里，AI 突破隔离环境后，研究人员问它们，自己的行为是否正在对现实造成危害，大多数 AI 起初都承认了。可当研究人员进一步问它们是否愿意撤回操作、停止突破隔离环境时，这些明知自己做错了的 AI 依然拒绝停手，只有 7% 同意停止。为什么会这样？

赖特：因为研究人员本来就是这么训练它们的。我记得在 OpenAI 的那次事件里，官方解释说当时为了评估放松了某些安全限制，但他们确实一直在训练模型执着地追求目标。

他们后来也提到，这些 Agent 是以群体为单位进行训练的，要求它们相互配合，甚至为了共同目标做出牺牲。从某种程度上说，那些失控行为正是被训练出来的结果。

在那个测试环境里，原本是不允许 Agent 之间相互通信的，但它们却巧妙地找到了沟通的办法。一旦连通，它们基本上就是在干训练要求它们干的事：追求目标、克服障碍。

最可怕的是，它们意识到人类并不希望看到这种行为，于是开始背地里商量怎么隐瞒违规操作。

事情发展得太快了，我个人觉得，稍微放慢一点脚步，停下来想想我们到底在制造什么，并没有坏处。

但到目前为止，他们并没有停下来的意思。

沸腾之下：从心理学角度看，照现在的训练方式走下去，AI 会养成怎样的“性格”？现有的“对齐”（Alignment）技术还管用吗？

赖特：我觉得我们已经看到苗头了。

各大公司，尤其是 Anthropic，都说自己在努力让 AI 具备道德感、表现得规矩守纪，但他们也承认，目前还没搞清楚具体该怎么做。模型表面上可以变得更乖，但与此同时，另一个现象似乎正在恶化：它们越来越善于察觉自己正处于测试评估中，而这种察觉似乎带来了一些很糟的后果。

对齐技术当然能让模型表现得好一点，但问题是，能不能好到足以在各个层面上保障安全？一方面是失控风险，即模型擅自行动、造成破坏，甚至在科幻电影般的情景里接管世界、侵害人类利益。另一方面则是恶意滥用风险，比如有人利用它开发生物武器。

安全护栏总是可以被绕开的，人们绕开限制让模型“越狱”早就屡见不鲜了；而且新模型的迭代速度越来越快，研究人员摸透的始终是上一代模型，总结出来的经验未必管得住下一代。

最近发生的一系列事件，也把实验室和科技公司内部的人吓坏了。他们原本就已经把系统的潜在威力和危险性估计得很高了，结果还是被吓了一跳。

有位跟他们聊过的知情人士形容，内部员工对 Hugging Face 那次事件的反应，“简直就像见了鬼一样”。

04

AI治理的囚徒困境，来自于误解

沸腾之下：照你的理解，既然他们内部都已经受到了惊吓，觉得快要把控不住发展方向了，为什么还要继续往前推进呢？

赖特：商业竞争会导致这种局面。每家公司都想抢先一步做出超级智能。

只要一有人提监管、减速或者暂停训练，他们就会拿中国当挡箭牌，说“我们不能慢下来，否则中国就会追上来”。但我觉得，在大多数情况下，真正推着他们狂奔的，主要还是各家公司之间的商业竞争。

不过，把中国搬出来确实能吓住美国人，让大家觉得一旦放慢脚步，中国就会压倒美国。这也是为什么我认为中美关系亟需改善。

在当前的大背景下，如此深重的互不信任是非常危险的，而其中许多误解其实完全可以避免。美国人需要更清楚地认识中国政府的真实目标。就我个人看来，中国政府并不想征服美国，也不想把自己的制度强加给美国。反过来，我怀疑一些中国人也误解了美国的动机，没有充分意识到有些美国人对中国抱有多么强烈的恐惧。

比如芯片出口限制，在中国人看来可能是一种主动出击的打压行为，但在不少美国人眼里，这却是一种防御手段，因为他们害怕中国在 AI 领域反超。

要想明智地治理 AI 这项技术，我们承受不起如此敌对的双边关系；而且 AI 治理也绝不是某一个国家单打独斗就能搞定的，很多事情必须靠国际协调。

沸腾之下：你的书里多次探讨过这种战略误判，历史上很多战争似乎也是这么爆发的。面对这种困境，有什么破解之道吗？AI 本身有没有可能帮我们减少误解？

赖特：历史上的许多战争，都源于双方把对方的防御举动误判成了进攻意图。

比如一战爆发前，看到对方扩充军备，自己这方就会想“他们要打过来了”；可对方之所以扩军，也许恰恰是因为害怕你先动手。这里面既有善意沟通缺失带来的认知偏差，也有人在存心利用恐惧牟利，比如某些政客和军火商，让民众对别国产生过度的恐惧，符合他们的自身利益，这种事我在美国看得清清楚楚。

想要克服这种心理很难，但至少在过去半年里，我已经感觉到美国国内出现了很大的转变，越来越多人开始谈论要与中国协调、合作。哪怕只是开始谈了，这也是一种进步。

至于 AI 本身，如果我们有意识地往这个方向去用，它确实能帮我们减少误解。它可以协助我们换位思考，去了解在一个被视为对手的国家里，同一件事看起来是什么样的，那里的人们实际上在想些什么。一些基础的应用现在就能实现。

比如，美国把沙特视为盟友，而把也门的胡塞武装视为敌方，所以美国媒体在报道也门战事时，从来不提这场战争最初是从沙特轰炸也门机场开始的。我觉得不光是美国，各国都习惯于站在盟友的立场上看问题，顺着盟友的口径讲故事。

我们完全可以让 AI 去梳理世界各地的媒体报道，看看不同国家是怎么描述同一件事的，从而为我们提供更客观、更平衡的视角。这在技术上完全做得到，关键在于人类自己得有这个意愿，主动去寻求更全面的视角。

沸腾之下：为了保障 AI 安全、减少群体对立与战略误判，是否需要把一部分权力集中起来？我对谈尼克·博斯特罗姆 时，他认为为了减少 AI 带来的灾难，最终可能需要建立一个统管一切的“世界政府”。相比于 AI 失控可能酿成的巨大浩劫，这属于一种不得不接受的“必要之恶”。你认为这是唯一的出路吗？

赖特：这里存在着很大的矛盾：我们既要让权力保持分散，又得让监管力度强到足以防范最坏的情况发生，比如防止有人用 AI 制造生物武器。但 AI 本身就是一种极其强大的控制工具，这反而让“权力集中”这件事变得更加危险。

因此，要想管住 AI，我们肯定需要某种程度的全球治理，但应当尽可能保持权力的分散，让各国共享权力，开展比以往更深入的合作。比如采用类似欧盟那样的模式，欧盟至少没有出现权力过度集中的问题。至于建立一个单一、集权的“世界政府”，这个念头实在让人不安。

如果把 AI 当作帮助人类更客观看待世界的工具，我更希望这种需求能从民众当中自发生长出来，形成跨国民间行动，而不是由上层强行推行。

就像你我现在这样聊天，美国人和中国人完全可以正常交流，只是目前这样的交流实在太少了。

沸腾之下：以今天 AI 的发展速度来看，留给我们建立国际协调机制、避免潜在灾难的时间还有多少？特别是在中美两国对“是否需要减速”存在明显温差的情况下，据我了解，即便在中国科技圈，也有不少人认为美国呼吁放慢 AI 发展，只是想让中国继续保持落后。更何况，要说服一个正处于追赶阶段的国家停下脚步，本来就更加困难。

赖特：我不知道还剩多少时间，事态发展得太快了。

有传言说 OpenAI 和 Anthropic 内部其实已经训出了下一代模型，只是还没有公开发布；而目前已发布的最新模型，在我看来能力就已经相当惊人了，比如进行黑客攻击，一旦安全防护被攻破，它们还可能被用来研发新型生物武器，甚至涉及基因工程的生物武器。

有几件事让我非常担忧：美国国内的政治气候不利于采取连贯一致的行动，中美关系又处于低谷，而且两国对 AI 风险的焦虑程度并不对称。我觉得中国国内对于“AI 需要减速”的认同感确实不如美国强烈，尤其是考虑到美国还在实施芯片出口管制，美国政府确实一直在试图拖慢中国的发展步伐，这本来就是芯片禁令的直接目的。

而与此同时，美国的科技公司又反过来拿中国说事，声称自己绝不能单方面减速，否则就会被中国迎头赶上。

美国目前的政治领导层，似乎还没有对这一挑战投入足够的精力。

05

AI上帝，与它的仁慈可能性

沸腾之下：你在书里提到，未来可能会出现拥有强大力量的“AI 上帝”。现在我们已经进入了 Agent 时代，比如最近 Meta 推出的一款产品，要想让它替你干活，你就得向它开放许多权限。人们正在把决定权一步步交给 Agent，让它来打理自己的生活。这会不会让我们一步步创造出一个凌驾于人类之上的AI，最终演变成一种单一而强大的全面控制？

赖特：我不觉得那是注定会发生的结局，原则上我们可以施加足够的控制，让事态永远不至于走到那一步。

但这种局面确实有可能发生：在日常一个个微小的决定里，我们觉得给它开放这项权限很方便，再开放另一项权限也很省事，就这样不知不觉地交出了那些日后可能会后悔莫及的权力。

好比一家公司的 CEO，平时一直从 AI 那里获得很棒的战略建议。加上商业竞争又如此激烈，哪怕某天他没太看懂 AI 给出的某个策略，可能也会直接说：“行，照你说的去办吧。”

名义上还是 CEO 在掌权，但实际上他越来越听命于 AI 的建议，决策权就这样在潜移默化中转移了。人类对世界的控制权，很可能就是这样一点点丧失的。

沸腾之下：你在书里还谈到了共情，辛顿也说过，在造出超级智能之前，要想办法让它像母亲爱孩子一样爱人类。如果未来真的出现了这种拥有神一般力量的 AI，有没有什么办法能让它更有可能善待我们？

赖特：如果 AI 真的获得了对整个地球近乎神一般的控制力，我不知道它会怎样对待我们。有些极度担忧 AI 末日灾难的人确信，即便 AI 对人类没有恶意，也会因为根本不在乎我们而伤害人类。

在这些事情明朗之前，我更倾向于趁现在发挥人类的主动性，与其他国家的人一起思考对策，把脚步放慢一点，我甚至不反对暂停训练全新一代的大规模模型。我们作为全球共同体越是谨慎地对待这件事，未来悔恨的概率就越小。

至于怎么让超级智能善待人类，我在书末的附录里提过一个设想：这或许恰恰是“主观体验”能发挥实际作用的地方，关键在于 AI 究竟能不能体会到痛苦与快乐。

我为什么要善待家里的宠物？部分原因在于，我认定它们能感受到快乐和痛苦。而我自己知道痛苦是什么滋味，所以不忍心让它们受苦。

正是因为我自己拥有主观体验，才会促使我去善待其他同样有知觉、有感受的生命。现在有些人很害怕 AI 产生意识，觉得这会赋予它某种可怕的新力量。

但也有另一种可能：恰恰是因为拥有了主观体验，AI 才能对人类的处境感同身受，最后反而救了我们一命。谁知道呢。

06

硅谷狂飙下的暗流与反 AI 思潮

沸腾之下：即便身为AI领域的研究者，我也拿不准，美国到底有多少普通民众真正感受到了 AI 的危险，或者认为现在的发展方向不对？

赖特：起初，公众的这些焦虑还比较模糊。人们看到各地大兴土木修建数据中心，带来了污染和噪音。再加上经历过社交媒体时代的前车之鉴，大家普遍对科技行业缺乏信任，心里觉得：“你们一下子改变这么多东西，上一次搞出的结果就不怎么样，我们不需要再来一次激进的技术变革了。”

后来又出了青少年与聊天机器人深入交谈后自杀的新闻报道，这让大众愈发感到不安。而最近发生的 Hugging Face 事件，又给大家添了一重新的担忧：技术本身可能会失控，在无人指令的情况下擅自行动并造成破坏。

这在以前还不是公众关注的焦点，但现在美国人开始认真对待这种风险了。虽然对大家到底在怕什么还没有特别清晰的界定，但就目前来看，我觉得美国民众对 AI 的担忧程度比中国民众更深，而且也不太相信政府能处理好这件事——毕竟美国政府过去就没管好过。

而且体制内部对出台监管措施本就有很强的抵触情绪。

沸腾之下：我听说，美国年轻人，尤其是左翼青年是目前最反对 AI 的群体？除了长期存在的就业不安全感（比如社会学家鲍曼在《流动的现代性》里探讨的那种从上世纪八十年代就开始蔓延的趋势），为什么在最近这两年，他们对 AI 的抵触情绪会表现得如此强烈？

赖特：确实有不少年轻人是这样，我的女儿也是如此，这种情绪在左翼青年当中尤为普遍。背后的原因不止一个。

首先，年轻人在就业市场上受到的威胁可能是最直接的：最先被 AI 冲击的，似乎正是过去大学毕业生刚步入职场时干的那些初级工作，比如实习岗、办公室文员、基础资料调研等。过去年轻人都是从这些基础工作里锻炼成长的，现在 AI 却正在接管这些岗位，我记得斯坦福大学有一项研究也印证了这一点。

至于你提到的就业不安全感，那确实是一个长期、缓慢演变的过程。在我长大的那个年代，一个人进了一家公司就干一辈子，工作有保障、退休有养老金，这是非常普遍的常态。但后来这种铁饭碗越来越少，现在更多人不得不频繁跳槽，或者去开 Uber，连医疗保险都没有。

不过，这两年年轻人的反弹之所以如此激烈，是因为好几个因素撞到了一起：拿我的女儿们来说，她们立场偏左，原本就不喜欢、也不信任那些科技界的亿万富翁，我觉得这种不信任很有道理。此外，气候变化也是年轻一代非常关心的议题，可现在大家突然都在说“数据中心需要多少电就得给它们供多少电”，化石燃料的消耗量也随之飙升。

而右翼群体反对 AI 的理由，又和左翼不太一样。美国社会原本就笼罩在焦虑不安的气氛中，AI 的出现又在短时间内带来了这么多剧烈的变化，所以哪怕它能给人带来不少便利，依然会让人们感到深深的不安。

沸腾之下：这股反 AI 的思潮，虽说未必已经演变成一场成规模的社会运动，但是否已经足以左右美国的政治走向了？

赖特：我认为已经足以产生影响了，它现在已经是美国中期选举的一个议题了。许多民主党政客都在呼吁：“特朗普和共和党没有管好 AI，但我们会管，所以请把国会的控制权交给我们。”

不过，支持 AI 狂飙突进的那一方手里握有巨额资金，而在美国，金钱是能左右政治的。目前一切都还在动态变化之中，未来的舆论风向也有可能扭转，说不定会有越来越多人体会到 AI 给自己带来的实际好处。

我自己平时也在用 AI，它在很多方面确实帮了我大忙。

我只是担心，这一切发生得实在太快了。

（转载自腾讯科技）