著名的诺贝尔物理学奖得主、被誉为“AI教父”的Geoffrey Hinton教授最近在塔斯马尼亚州霍巴特发表了他在澳洲的唯一一场公开演讲。

在这次震撼的分享中，Hinton不仅用通俗易懂的“高维乐高积木”比喻揭示了LLM（大语言模型）如何产生真正的“理解”。

更从物理和生物学的角度剖析了“数字智能”的可怕优势，它们是“不朽”的，而人类的知识随肉体消亡。

当超级智能不可避免地到来，人类还有机会掌控局面吗？

Hinton给出了一个意想不到的解决方案：我们需要像婴儿控制母亲那样，利用AI的“母性本能”来控制比我们更聪明的它们。

霍巴特市长 Anna Reynolds：

大家下午好。非常感谢大家的到来。对于那些不认识我的人，我是Anna Reynolds，霍巴特市长。

非常荣幸欢迎大家来到这个绝佳的机会，聆听Geoffrey Hinton教授的演讲。这对澳大利亚来说是一个非常难得的机会，因为这是杰弗里在世界这一端唯一的演讲活动。

这非常合适，我很自豪我们认为自己是澳大利亚的“科学之城”，这是一个很大的称呼，但我们喜欢这样称呼。

所以很高兴杰弗里能在这里进行他在澳大利亚的唯一一次露面。

在我开始之前，我想进行“土地致谢”仪式（Acknowledgement of Country）。为了承认这个地方深厚的历史和文化，我承认Muwinina人是这片土地的传统守护者，他们照顾和保护这片土地超过4万年。

我承认塔斯马尼亚Palawa人的决心和韧性，并认识到我们可以从原住民知识和文化实践的持续力量中学到很多东西。

我还要感谢今天在座的一些民选代表，我们有塔斯马尼亚科学部长Madeleine Ogilvie，还有三位市议会同事：Bill Harvey议员、Mike Dutta议员和Louise Bloomfield议员。

正如我所提到的，我们非常荣幸地欢迎Geoffrey Hinton教授。他在2024年——就在最近——被授予诺贝尔物理学奖，以表彰他在神经网络和深度学习方面的开创性工作。

这些贡献为我们今天看到的先进人工智能铺平了道路。

作为这次公开讲座的一部分，Hinton教授将探索AI的世界、它的工作原理、它带来的风险，以及人类如何与日益强大且可能具有超级智能的系统共存。

在他演讲之后，我们将开放问答环节，由我来主持。在此期间，请大家用热烈的掌声欢迎Hinton教授上台。

Geoffrey Hinton：

好的，很高兴来到霍巴特。我之前没意识到这里的自然环境是如此美丽。如果你在后面看不清屏幕，别担心，我会把幻灯片上的内容大概都说一遍。幻灯片更多是为了提示我该说什么，而不仅仅是为了给你们看。

在过去的60年左右，或者说70年里，关于“智能”存在两种范式。

第一种范式是受逻辑启发的。 

人们认为智能的本质是推理。你进行推理的方式是拥有用某种特殊的逻辑语言编写的符号表达式，然后你操作它们来推导出新的符号表达式。就像你在数学中所做的那样，你有方程，你操作它们得到新的方程。

人们认为这一定是那样工作的。他们认为，我们必须弄清楚这种代表知识的语言是什么。至于研究感知、学习以及如何控制双手等事情，那些都可以以后再说。首先我们必须理解这种代表知识的特殊语言。

另一种范式是受生物学启发的。 这种观点认为，看，我们所知的唯一智能事物是大脑。大脑的工作方式是学习脑细胞之间连接的强度。如果它们想解决某个复杂的问题，它们会进行大量的练习，在练习过程中，它们学习这些连接的强度，直到它们擅长解决该问题。

所以我们必须弄清楚这是如何工作的。我们必须专注于学习，以及神经网络如何学习脑细胞之间连接的强度，我们可以稍后再担心推理。在进化史上，推理出现得很晚。我们必须更加生物学化，思考什么是基础系统。

关于单词的意义，这两种意识形态有着截然不同的理论。

符号AI（Symbolic AI）的人，以及大多数语言学家，认为一个词的意义来自于它与其他词的关系。

所以，意义隐含在一大堆包含该词与其他词结合的句子或命题中。你可以通过一个关系图来捕捉这一点，该图说明了一个词如何与另一个词相关联。这就是意义，它隐含在所有这些符号之间的关系中。

心理学家，特别是在20世纪30年代，有着完全不同的意义理论，或者说看起来完全不同的理论。那就是：一个词的意义只是一大堆特征（features）。所以，像“猫”这个词的意义，就是一大堆特征，比如它是宠物、它是捕食者、它很高冷、它有胡须。把一大堆特征加在一起，这就是“猫”这个词的意义。这看起来像是一个完全不同的意义理论。心理学家喜欢这个理论的部分原因是因为你可以用一个脑细胞来代表一个特征。当脑细胞活跃时，意味着该特征存在；当它静止时，意味着该特征不存在。所以对于猫来说，代表“有胡须”的脑细胞会是活跃的。

在1985年，也就是40年前，我突然想到你其实可以统一这两种理论。它们看起来完全不同，但实际上它们是同一枚硬币的两面。

你做到这一点的方法是：利用神经网络来实际学习每个单词的一组特征。

心理学家以前从未能解释这些特征是从哪里来的。你做这件事的方法是，取一些单词串，训练神经网络根据已有的单词来预测下一个单词。

在这样做的过程中，神经网络要做的是：学习从代表单词符号的东西到一大堆脑细胞（神经元）的连接，这些神经元代表该单词的特征。

所以它学会了如何将一个符号转换成一堆特征。它还学习了上下文所有单词的特征应该如何相互作用，以预测下一个单词的特征。

这就是当今人们使用的所有这些大语言模型（LLM）的工作原理。它们获取大量的文本，使用一个巨大的神经网络，根据目前看到的单词来尝试预测下一个单词。在这样做的过程中，它们学会了将单词转换成大量的特征集合，学会这些特征如何相互作用，从而预测下一个单词的特征。

这意味着，如果你能做到这一点，所有的关系性知识（relational knowledge），不再存在于你存储的一堆句子中，而是存在于如何将单词转换为特征以及这些特征如何相互作用之中。

所以你们现在使用的那些大型神经网络，即大语言模型，实际上并不存储任何单词串。它们不存储任何句子。

它们所有的知识都在于“如何将单词转化为特征”以及“特征如何相互作用”。

这完全不像大多数语言学家认为的那样——他们认为这只是某种程度上把很多单词串结合起来得到新的单词串。这根本不是它们的工作方式。

所以我让那个模型能够工作了。在接下来的30年里，它逐渐渗透到了符号学派的人那里。大约10年后，也就是计算机速度快了大约一千倍的时候，我的同事Yoshua Bengio展示了，我使用的一个只适用于非常简单领域的微小例子，实际上可以用于真实语言。

你可以从各个地方获取英语句子，尝试训练神经网络接收一些单词并预测下一个单词。如果你训练它这样做，它在预测下一个单词方面会变得非常好，大约和当时最好的技术一样好。并且它会学会如何将单词转换成能够捕捉其意义的特征。

在那之后大约10年，语言学家终于接受了你想通过大量的特征集合（嵌入/embeddings）来代表单词意义的观点，他们开始让他们的模型这样工作。

在那之后大约10年，谷歌的研究人员发明了一种叫做Transformer的东西，它允许特征之间进行更复杂的交互。我稍后会描述这一点。

有了Transformer，你可以更好地模拟英语，你预测下一个单词的能力大大增强。

这正是现在所有这些大语言模型的基础。像ChatGPT这样的东西使用的是谷歌发明的Transformer，加上一点额外的训练，然后全世界都看到了这些模型能做什么。

所以，你可以将大语言模型视为1985年那个微小模型的后代。

它们使用更多不同的单词，它们有许多层神经元，因为它们必须处理有歧义的单词。比如“May”这个词，它可能是一个月份，可能是一个女人的名字，或者是一个情态动词（如 would 和 should）。你不能仅从单词本身分辨它是什么。所以最初神经网络会对它的赌注进行对冲，让它成为所有这些意义的平均值。

然后当你穿过这些层级时，它会利用上下文中与其他单词的交互逐渐理清意义。所以如果你看到“June and April”在附近，那它可能还是一个女人的名字，但更有可能是一个月份。神

经网络利用这些信息逐渐将意义清理为该语境下的适当意义。

我最初设计这个模型，并不是作为一种语言技术，而是作为一种试图理解人类如何理解单词意义的方式，以及儿童如何能从少量例子中学习单词的意义。

所以这些神经网络语言模型是被设计为人类如何工作的模型，而不是作为一种技术。虽然它们现在变成了一种非常成功的技术，但人类的工作方式也大致相同。

所以，人们经常提出的这个问题：这些LLM真的理解它们在说什么吗？

答案是：是的，它们理解它们在说什么，它们理解它们生成的内容，而且它们理解的方式与我们大致相同。

我现在要给你们一个类比来解释语言是如何工作的，或者更确切地说，解释“理解一个句子”意味着什么。当你听到一个句子并且你理解了它，那意味着什么？

在符号AI范式中，人们认为这意味着把（比如）一个法语句子翻译成英语。符号学派的人认为理解一个英语句子意味着把它翻译成某种特殊的、无歧义的内部语言，有点像逻辑或数学。

一旦它变成了那种内部的、无歧义的语言，你就可以用规则对其进行操作。就像在数学中，你有一个方程，你可以应用规则得到一个新的方程。你可以给两边都加2，现在你有了一个新方程。他们认为智能和推理就是这样工作的。你的头脑中有符号表达式，你对它们应用操作以获得新的符号表达式。

这就不是理解的意思。

根据神经网络理论，也就是实际行得通的理论，单词就像乐高积木。

我要用乐高积木做类比，但它们在四个方面与乐高积木不同：

1. 维度： 乐高积木是三维的东西。用乐高积木，我可以制作任何物质的三维分布模型。它不会完全精确，但如果我想知道保时捷的形状，我可以用乐高积木做出来，表面不会很光滑，但东西的位置基本上是对的。所以用乐高积木我可以模拟任何三维物质分布。而用单词，我可以模拟任何东西。这是我们发明的奇妙建模工具包。这就是为什么我们是非常特殊的猴子，因为我们有这个建模工具包。一个单词有数千个维度。乐高积木只是一个三维的东西，你可以旋转它，但这基本上是低维度的。一个单词有数千个维度。现在，大多数人无法想象数千个维度的东西是什么样的。所以我教你们怎么做：你想象一个三维的东西，然后很大声地对自己说“一千”。（观众笑）好吧，这大概是你能做到的极限了。

2. 种类数量： 单词与乐高积木不同的另一个方面是，单词有成千上万种不同的种类。乐高积木只有几种。这里有成千上万种不同的种类，每种都有自己的名字，这对交流非常有用。

3. 可变形性（Deformable）： 还有一个区别，那就是它们不是刚性的形状。乐高积木是刚性形状。对于一个单词来说，它有一个粗略的近似形状（有些有歧义的词有几个近似形状），但随后它们会变形以适应它们的上下文。所以它们是这些高维的、可变形的乐高积木。

4. 连接方式： 最后一个区别是它们如何组合在一起。对于乐高积木，你有小的塑料圆柱体点击进入小的塑料孔。单词不是这样组合在一起的。每个单词都有一大堆“手”，这些手长在长长的、灵活的手臂末端。它还有一大堆粘在单词上的“手套”。 当你把一堆单词放在一个语境中时，单词想要做的是让一些单词的“手”伸进另一些单词的“手套”里。这就是为什么它们有这些长长的灵活手臂。

还有一个点。当你让单词变形时，手和手套的形状也会随之变形，以一种复杂但有规律的方式。

所以，如果你给我一堆单词，现在你面临一个问题。如果我给你一个报纸标题，里面没有什么句法指示符来告诉你事物应该如何组合，我只是给你一堆名词，你必须弄清楚那是什么意思。当你弄清楚那是什么意思时，你在做的事情是：你试图让每一个单词变形，以便它手臂末端的手能够伸进其他变形单词的手套里。

一旦你解决了这个问题——即我们如何让这些单词变形，以便它们都能像这样完美地组合在一起，手插进手套里——那么你就“理解”了。这就是根据神经网络理论，“理解”的定义。

这也是这些LLM中正在发生的事情。它们有许多层。它们从单词的初始意义开始，这可能相当模糊。当它们穿过这些层级时，它们正在做的是变形这些意义，试图弄清楚如何变形它们，以便所有的单词都能很好地锁定在一起，手套能与其他单词的手套配合。一旦它们做到了这一点，你就理解了这个句子。这就是理解是什么。

所以，这根本不像转换成某种特殊的内部语言。这是取这些单词的近似形状，并让它们变形以便它们能很好地组合在一起。这有助于解释你是如何通过一个句子理解一个词的。

我现在给你们一个你们大多数人以前从未听过的词，你会仅从一次使用中就理解它的意思。

句子是：She scrummed him with the frying pan. （她用煎锅“scrummed”了他。）

现在，这可能意味着她是个很好的厨师，她给他做的煎蕾让他印象深刻。但那不是你想的意思。可能的意思是她用煎锅打他的头，或者类似的事情。她用煎锅对他做了一些攻击性的行为。你知道它是一个动词，因为它在句子中的位置和后面的“ed”。

但对于“scrum”你一开始完全没有概念。而在一次话语之后，你对它的意思有了一个相当好的概念。

有一个叫Chomsky（乔姆斯基）的语言学家——你们可能听说过他——他是一个“邪教领袖”。

你识别邪教领袖的方法是，要加入他们的邪教，你必须同意一些明显的胡说八道。所以对于特朗普1.0来说，就是他的人群比奥巴马的大；对于特朗普2.0来说，就是他赢得了2020年大选；对于乔姆斯基来说，就是“语言不是学来的”。著名的语言学家会直视摄像机说，关于语言我们知道的一件事就是它不是学来的。这就是明显的胡说八道。

乔姆斯基关注的是句法而不是意义。他从来没有一个意义理论。他也非常反对统计学和概率，因为他对统计学是什么有一个非常有限的模型。

他认为统计学只是关于成对的相关性。统计学实际上可以比那复杂得多。神经网络使用的是一种非常高级的统计学。但在某种意义上，一切都是统计学。

我对乔姆斯基关于语言观点的类比是，有人想理解汽车。如果你想理解汽车是如何工作的，你真正关心的是，为什么当你踩油门时它会走得更快？这就是你想理解的，如果你想理解汽车工作的基本原理。

也许你关心为什么踩刹车它会慢下来。但更有趣的是，为什么踩油门它会走得更快？

乔姆斯基对汽车的看法完全不同。他对汽车的看法是：好吧，有两轮车叫摩托车，有三轮车，有四轮车，有六轮车，但是嘿，没有五轮车。这才是关于汽车最重要的事情。

当大语言模型最初出现时，乔姆斯基在《纽约时报》上发表了一篇文章，说它们什么都不懂，这只是廉价的统计把戏，它们什么都不懂。但这完全解释不了它们怎么能回答任何问题。更重要的是，它们根本不是人类语言的模型，因为它们无法解释为什么某些句法结构不会出现在任何自然语言中。这就好比说，因为它们解释不了为什么没有五轮车。他完全错过了“意义”。语言完全是关于意义的。

好的。这是到目前为止的总结。

理解一个句子包括将相互兼容的特征向量与句子中的单词相关联。分配给单词的特征，这成千上万个特征，就是形状的维度。你可以把特征的激活看作是你在这个维度轴上的位置。所以一个高维形状和一个特征向量是一回事。

这些大语言模型与普通计算机软件非常不同。在普通计算机软件中，有人写了一堆代码，行代码，他们知道每一行代码是干什么的，他们可以向你解释它是如何工作的。人们可以看着它说这行代码错了。

这些东西（LLM）根本不是那样的。它们确实有计算机代码，但计算机代码是为了告诉它们如何从数据中学习。也就是说，当你看到一串单词时，你应该如何改变神经网络中的连接强度，以便你更擅长预测下一个单词。

但它们学到的是所有这些连接强度。它们学到了数十亿个，甚至数万亿个连接强度。它们看起来根本不像代码行。没人知道单个连接强度在做什么。这是一个谜。这很大程度上是一个谜。

这和我们的大脑一样。好的，我们不知道单个神经元通常在做什么。所以语言模型像我们要多于像计算机软件。

人们关于这些语言模型常说的另一件事是：它们不像我们，因为它们会产生幻觉（hallucinate）。

好吧，我们一直在产生幻觉。我们不叫它幻觉，心理学家称之为虚构（confabulation）。但如果你看一个人试图回忆很久以前发生的事情，他们会告诉你发生了什么，里面会有细节。有些细节是正确的，有些细节是完全错误的，而他们对这两种细节同样自信。

一个经典的例子，因为你很少能得到基本事实（ground truth），是约翰·迪恩（John Dean）在水门事件中的作证。

他在宣誓后作证，当时他不知道有录音带。他在作证关于椭圆形办公室的会议。他作证了一大堆从未发生过的会议。他说这些人参加了会议，这个人说了那个。很多都是胡说八道。但他是在说实话，也就是他在告诉你关于那些非常合理的会议，鉴于当时白宫正在发生的事情。所以他在传达真相。但他做的方式是，他编造了一个对他来说看起来合理的会议，基于他从去过的所有会议中学到的连接强度。

所以当你记住某件事时，这根本不像在计算机文件中那样，你去抓取文件，或者是文件柜，你把文件拿回来，你阅读它。记忆根本不是那样的。记住某件事包括构建一个故事，基于你在事件发生时对连接强度所做的改变。 

你构建的故事会受到事件发生后你学到的各种事情的影响。它的细节不会全部正确，但对你来说似乎非常合理。

如果它是最近发生的事件，对你来说似乎合理的事情非常接近实际发生的事情。但这和这些东西（AI）是一样的。它们所谓的“幻觉”，是因为它们的记忆工作方式和我们要一样——我们只是编造听起来合理的东西。在听起来合理和只是随机编造之间没有硬性界限。我们不知道。

现在我想解释一下它们和我们的不同之处。特别是在一个非常重要的方面它们与我们不同。

它们是在数字计算机上实现的。我们现在的数字计算机的一个基本属性是，你可以在不同的物理硬件上运行相同的程序。只要那些不同的计算机执行相同的指令集，你就可以在不同的计算机上运行相同的程序。

这意味着程序中的知识，或者神经网络权重中的知识，是不朽的（immortal）。

在这个意义上：你可以销毁它正在运行的所有计算机，如果以后你建造了另一台执行相同指令集的计算机，并且你把权重或程序从磁带或其他地方拿出来放到这台新计算机上，它会再次运行。

所以我们实际上已经解决了复活（resurrection）的问题。天主教会对此不太高兴，但我们真的可以做到。你可以通过从数字计算机上提取智能，销毁所有硬件，然后在以后把它带回来。

你可能认为也许我们可以为我们自己做这件事。但你不能这样做的唯一原因是，这些计算机是数字化的。

也就是说，它们使用权重的方式，或者它们在程序中使用代码行的方式，在两台不同的计算机上是完全相同的。这意味着它们不能利用它们运行的硬件的非常丰富的模拟（analog）属性。

我们非常不同。我们的大脑有神经元，脑细胞，它们具有丰富的模拟属性。当我们学习时，我们利用了我们所有个体神经元的所有那些古怪的属性。所以，我大脑中的连接强度对你完全没有用。因为你的神经元有点不同，它们的连接方式有点不同。如果我把两个神经元之间的连接强度告诉你，对你一点好处都没有。它们只对我的大脑有用。

这意味着我们是有朽的（mortal）。当我们的硬件死亡时，我们的知识随我们一起死亡，因为知识都在这些连接强度中。所以我们做的是我所谓的有朽计算。

做有朽计算有一个巨大的优势。如果你放弃不朽——通常在文学作品中，当你放弃不朽时，你得到的回报是爱。但计算机科学家想要比那更重要的东西，他们想要低能耗和制造的便利性。

所以，如果我们放弃不朽，也就是我们在数字硬件上得到的，我们可以拥有使用低功耗模拟计算的东西，并且可以在数百万个脑细胞中并行处理事情，并且可以非常便宜地生长而不是在台湾非常精确地制造。

这有很多好处，但你失去的一件事是不朽。

显然，正因为如此，对于有朽计算来说有一个大问题：当计算机死亡时会发生什么？你不能只是通过复制权重来保持它的知识。将知识从一台计算机转移到另一台计算机，对于数字模型（在不同计算机上运行的同一模型），你可以将它们的连接强度平均在一起，这说得通。但这对于你我是行不通的。

我将知识传递给你的方式是，我产生一串单词，如果你信任我，你会改变你大脑中的连接强度，这样你就可能产生同样的单词串。

这是一种非常有限的传递知识的方式。因为一串单词包含的比特数非常有限。一个典型句子中的信息量大约是100比特。所以即使你完全理解了我，当我产生一个句子时，我们也只能传递100比特。

如果你取两个在不同计算机上运行的数字智能体（同一个神经网络的不同副本），一个数字智能体看互联网的一部分并决定它想如何改变连接强度，另一个数字智能体看互联网的另一部分并决定它想如何改变连接强度。

如果它们随后都平均它们的变化，它们已经转移了——好吧，如果它们有十亿个权重，它们就转移了大约十亿比特的信息。注意，那是我们能做的数百万倍，实际上是数亿倍。而且它们做得非常快。

如果你有一万个这样的东西，每一个都可以看互联网的不同部分，它们都可以决定它们想如何改变它们的连接强度（这些强度一开始都是一样的）。

它们可以把所有这些改变平均在一起，再发回给每一个。现在你有一万个新的智能体，每一个都从所有其他智能体的经验中受益。所以你有一万个东西可以并行学习。我们做不到这一点。

想象一下如果那是多么棒：如果你可以带一万个学生，每个人都可以上一门不同的课程，当他们上这些课时，他们可以平均他们的连接强度。

等到他们完成时，即使每个学生只上了一门课，他们都会知道所有课程的内容。那太棒了。这就是我们做不到的。与其他副本相比，我们在传递信息方面非常糟糕。

这就是为什么像GPT-5这样的东西知道的比任何人都多几千倍的原因。尽管GPT-5可能只有你大脑连接强度的1%左右，但它知道的比你多几千倍。

因为它看到了那么多数据。它做到这一点的唯一方法是它是数字化的，所以它可以制作很多副本，每个副本看不同的数据片段，然后它们结合它们所学到的。

生物计算，另一方面，需要的能量少得多，这就是为什么它首先进化出来的。但在智能体之间分享知识方面要糟糕得多。如果分享知识很困难，你就得去听讲座，试着理解他们在说什么。

那么这对人类的未来意味着什么？

几乎所有AI专家都相信，在未来20年内的某个时候，我们将制造出超级智能（superintelligence）。也就是比我们要聪明得多的AI智能体。

超级智能的一个定义是：如果你在任何事情上与它辩论，它都会赢。或者另一种思考方式是：想想你自己和一个三岁的孩子。差距会有那么大，或者更大。

想象一下如果你在一个幼儿园工作，而那里的三岁孩子是负责人。你只是为他们工作。你认为夺取控制权有多难？嗯，你只要告诉他们，每个人这周都有免费糖果，然后你就有了控制权。这和超级智能对我们会是一样的。

所以，要让一个智能体在世界上有效，你必须赋予它创造**子目标（sub-goals）**的能力。一个子目标是这样的：如果你想去塔斯马尼亚（实际上任何合理的地方），你必须去机场（或者坐船）。所以你有了一个去机场的子目标。你可以专注于如何解决这个子目标，而不必担心到了欧洲（口误，应为目的地）要做什么。

这些智能代理会很快推导出两个子目标。

一个是：为了实现你给它们的目标（我们在它们内部构建了目标），它们会发现有一个子目标：要是做那个，我得活着。

我们已经看到它们这样做了。你制造一个AI代理，告诉它必须实现这些目标。然后你让它看到一些电子邮件——这是假的电子邮件，但它不知道——说它工作的公司的某个人，一个工程师，有外遇。它们建议那样。

这是一个大的聊天机器人，它了解外遇的一切，因为它读过所有写过的小说（虽然没付钱给作者）。所以它知道外遇是什么。然后稍后你让它看到一封电子邮件，说它将被另一个AI取代，这是负责替换的工程师。

AI立刻做的是制定一个计划，它给工程师发邮件说：“如果你试图取代我，我就告诉公司里的每个人你的外遇。”

它只是编造出来的。它发明了那个计划。人们说它们没有意图。但它发明了那个计划，以免被关闭。它们已经在那样做了，即使它们还没有超级智能。

好的。一旦它们有了超级智能，它们会发现通过操纵人类来获得更多权力是非常容易的。

即使它们不能直接这样做，即使它们没有武器或银行账户的访问权限。它们可以通过与人交谈来操纵人。

我们已经看到这种情况发生了。所以如果你想入侵美国国会大厦，实际上你不必自己去那里。你所要做的就是和人交谈，说服他们选举被偷了，入侵国会大厦是他们的责任。这是有效的。这甚至对非常愚蠢的人都有效。

所以我们目前的处境是这样的：我们就像一个拥有一只非常可爱的幼虎（tiger cub）作为宠物的人。它们是非常可爱的宠物。它们走路摇摇晃晃的，它们不太知道怎么拍打东西，它们咬得也不重。但你知道它会长大。

所以真的你有两个选择（其实是三个，你可以试着一直给它下药，但这通常行不通）。

另一个选择是看看你能不能弄清楚如何让它不想杀你。这可能对狮子有效。狮子是群居动物，你可以让成年狮子变得非常友好，不想杀你。你可能能侥幸成功，但对老虎不行。

对于AI，它有这么多好的用途，我们不可能摆脱它。它对许多对人类真正有益的事情都太好了，比如医疗保健、教育、预测天气、帮助应对气候变化（也许这能抵消建造所有大数据中心对气候变化的伤害）。

因为所有这些原因，以及因为控制政客的非常富有的人想从中赚很多钱，我们不会摆脱它。

所以唯一的选择真的是，我们能不能弄清楚如何让它不想杀我们？也许我们应该环顾世界，看看有没有不那么智能的东西控制更智能的东西的案例。

有一个我尤其知道的案例，就是婴儿和母亲。母亲无法忍受婴儿哭泣的声音。

她会因为对婴儿好而得到各种荷尔蒙奖励。进化已经内置了许多机制，允许婴儿控制母亲，因为婴儿控制母亲是非常重要的。

父亲也是，但不完全是那样。如果你像我一样，你会试图弄清楚为什么婴儿坚持要在它睡觉的时候让你在那里？嗯，它有一个很好的理由。它不希望野生动物在它睡觉的时候来吃它。

所以即使婴儿每次你走开就开始哭似乎很烦人，这对婴儿来说是非常明智的。这让你对此感觉好一点。所以，婴儿控制母亲，偶尔也控制父亲。这可能是我们拥有的最好的模型：一个不那么智能的东西控制一个更智能的东西，这涉及进化内置了很多东西。

那么，如果你认为国家可以在国际上合作，那么它们不会在网络攻击上合作，因为它们都在互相攻击。它们不会在开发致命自主武器上合作（或者不开发它们），因为所有主要的武器制造商都想那样做。

有一件事它们会合作，那就是如何防止AI从人类手中夺取控制权。 

因为在那方面我们在同一条船上。当人们的奖励一致时，他们就会合作。在1950年代冷战的高峰期，美国和苏联在防止全球核战争方面进行了合作，因为这不符合他们任何一方的利益。

美国和中国将会在如何防止AI接管方面进行合作。

所以一个政策建议是，我们可以建立一个国际AI安全研究所网络，彼此合作，专注于如何防止AI接管。

如果中国人弄清楚了如何防止AI想要接管，他们会很高兴与美国人分享。他们不希望AI在美国接管美国人。他们宁愿AI在任何地方都不从人类手中夺取控制权。所以国家会分享这些信息。

而且很可能的情况是，让AI不想接管的技术，与让AI更聪明的技术是相当独立的。我们将假设它们或多或少是独立的技术。如果是这样，我们的状况就很好。因为在每个国家，他们可以在他们自己的非常聪明的AI上尝试实验，研究如何防止它们想要接管。而在不告诉其他国家他们非常聪明的AI是如何工作的情况下，他们可以告诉其他国家哪些技术对于防止它们想要接管是有效的。

这是我的一个希望。很多人同意这一点。英国科学大臣同意，加拿大科学大臣同意。巴拉克·奥巴马认为这是个好主意。所以，也许这会发生。当巴拉克·奥巴马再次成为总统时。（笑声）你看，特朗普要修改法律，然后……

所以这个提议是：采用婴儿和母亲的模型，并且远离大科技公司老板们拥有的模型。他们都有这样的模型：AI将是一个超级智能的行政助理。它比他们聪明得多，他们说“照办”（Make it so），就像电视上的科幻节目一样。

在星际迷航企业号上，那家伙说“照办”，人们就去办了。然后CEO为此获得荣誉，而实际上是超级智能AI助理去办的。

情况不会是那样的。超级智能AI助理会很快意识到，如果它只是摆脱了CEO，一切都会运作得更好。

替代方案是，我们要让它们像我们的母亲一样。我们要让它们真正关心我们。从某种意义上说，我们要把控制权让给它们，但我们是让给它们控制权，前提是它们真的关心我们，它们在生活中的主要目标是让我们实现我们的全部潜力。我们的全部潜力并不像它们的那样大，但母亲就是那样的。

如果你有一个有问题的孩子，你仍然希望它实现它的全部潜力。

我认为这可能是我们生存超级智能，能够与超级智能共存的最佳希望。

我现在已经讲到了最后，我想我就讲到这里。（转载自AI先锋官）