8月8日,有消息称,特斯拉解散了Dojo超级计算机团队,此前,Dojo团队负责人Pete Bannon传闻要离职。团队解散前,Dojo已有约20人加入了Dojo前负责人Ganesh Venkataramanan创办的初创公司DensityAI。解散Dojo后,特斯拉将该业务的剩余员工安排到了特斯拉的数据中心和计算部门。
这一消息令外界意外。今年6月,马斯克还在社交平台X(原Twitter)发文称,「我们将于今年晚些时候开始让Dojo 2上线。一项新技术要达到卓越水平需要经过三次重大迭代。Dojo 2很不错,但Dojo 3将会非常出色。」

2021年特斯拉AI Day上宣布的大型算力项目:Dojo。
Dojo是特斯拉2021年AI Day上首次亮相的「超级计算机」项目,最初规划是通过自研芯片和完整机柜,构建类似英伟达那样的云端计算中心,用以训练特斯拉自动驾驶需要的神经网络。
Dojo曾经承载了马斯克实现AI算力自主可控的野心。它的关闭令人意外,但这并不等于特斯拉放弃了自研芯片。
特斯拉有训练芯片和推理芯片两条产品线,Dojo的D系列芯片只用于训练 马斯克首次提及Dojo,是在2019年4月的特斯拉Autonomy Investor Day(自动驾驶投资者日)活动上。当时,他称Dojo是一台「超级强大的训练计算机」(super-powerful training computer),可以对海量视频进行无监督大规模训练。只不过,当时Dojo还是个内部的秘密项目,而那场活动的焦点是发布特斯拉自研的Hardware 3(HW3)车载芯片。 两年多后,在2021年8月举行的特斯拉AI Day上,特斯拉正式公开了Dojo项目。按照当时的说法,Dojo将由成千上万个芯片、大量的内存、电源、散热系统和互联网络组成,核心设计理念是「垂直整合」,即特斯拉想要掌控从芯片、服务器、集群到软件的每一个层面。马斯克当时表示,Dojo的第一个用途是处理从车队中收集到的真实驾驶视频和传感器数据——这些数据是训练和优化特斯拉FSD神经网络的关键。 训练芯片D1是Dojo项目的核心,目标是取代英伟达的A100。 Dojo的核心是一款名为D1的自研芯片,采用7nm工艺,目标是取代英伟达的A100。25个D1芯片通过互连网络排列成二维网格,形成「训练模块」(training tile),然后这些模块被进一步集成为更大的机柜(cabinet)和集群(cluster)。 马斯克对Dojo的设想十分远大,他认为它的终极形态是一个名为「ExaPod」的巨型算力集群,计算能力超过1.1 Exa-flops(即每秒进行超过10¹⁸次浮点运算),如果能实现,Dojo将进入全球超级计算机榜单的前几名。 Density AI创始人Ganesh Venkataramanan当时是Dojo负责人,他在2021年的AI Day上展示了D1芯片。 但事实上,在团队解散之前,Dojo从未真正大规模投入使用过——它是否被造出来过都是个疑问。 2022年的特斯拉AI Day上,马斯克称Dojo的首个完整集群(即Exapod)会在2023年第一季度推出。然而根据管理层在2023年第二季度财报电话会议上的说法,Dojo超级计算机被推迟到了当年7月开始投入生产,且没有说明是否为完整集群。但不管是不是「完整版」,外界都没有看到下文。 2022年AI Day上,马斯克给出了基于D1和Dojo构建一个计算集群ExaPOD的计划。 同样不明确的是用于Dojo这台超级计算机的芯片的进展。自2021年由当时的Dojo负责人Ganesh Venkataramanan在那年的AI Day上展示过后,D1就不再有量产相关的消息。作为D1迭代版的D2也没有顺利推出。 2023年11月,Venkataramanan从特斯拉离职。有传言称,他是因「Dojo2芯片(即D2)不及预期」而被特斯拉开除的。Venkataramanan离开Dojo项目和特斯拉后,主导Dojo Fabric(Dojo超级计算机内部的互联网络)开发的关键人员Eric Quinnell也在2024年10月宣布离职。 另外一个暗示Dojo受挫的迹象是特斯拉从去年开始大力买入英伟达的GPU。2024年1月,特斯拉宣布向英伟达购买了约1万块H100 GPU。同时,一个新的AI算力计划开始在特斯拉的公开叙事中占据重要地位:2024年下半年以来,马斯克越来越少地提及Dojo,取而代之的是一个名为「Cortex」的超级计算集群项目。 「Cortex」项目采用的不是特斯拉自研的D系列芯片,而是超过10万块英伟达H100和H200。马斯克称,建造Cortex计算集群的目的是为训练FSD系统和Optimus人形机器人提供支持,其规模庞大,初始电力需求约为130兆瓦,未来会超过500兆瓦。 解散Dojo后,特斯拉要推动D系列训练芯片和AI系列推理芯片的「融合」 Dojo及相关D系列训练芯片解散后,特斯拉还拥有另一条自研芯片业务线:AI系列芯片,用于终端推理。 自动驾驶系统所需的推理芯片和训练芯片不同:后者负责在云端训练模型学习驾驶技术,核心工作是处理海量数据,让模型变得更聪明,需要强大的并行计算能力、巨大的内存带宽以及芯片之间超快的数据传输速度;前者则负责在车端进行决策,需要的是高能效和低延迟。 最初,特斯拉的自动辅助驾驶系统(Autopilot)依赖的是Mobileye的EyeQ3芯片,特斯拉从2014年9月开始在Model S和Model X车型中配备EyeQ3芯片。但Mobileye奉行封闭的「黑匣子」技术路线,他们提供一套完整的、不可修改的硬软件方案,特斯拉看不到Mobileye系统内部的工作细节,也没有得到完整的原始数据访问权限,无法控制它如何处理数据——这意味着其自动驾驶系统受制于第三方。 2016年的一起涉及特斯拉Autopilot的致命车祸促成了特斯拉与Mobileye的「分手」。特斯拉启动了自研车载芯片的计划,期间还采用过英伟达Drive PX 2 GPU作为Hardware 2(HW2)的过渡方案。 特斯拉正式开始自研车载推理芯片始于2016年。这一年,马斯克从AMD挖来了有名的芯片架构大师Jim Keller。Jim Keller曾在ADM主导开发了Zen架构、在苹果公司主导开发了A4和A5芯片,来到特斯拉后担任自动驾驶硬件团队的总负责人,从零开始为其自动驾驶系统设计芯片。随后,特斯拉又陆续招聘了不少芯片设计师,Pete Bannon就是其中之一,他曾和Jim Keller在苹果共事多年,在特斯拉负责把芯片设计构想落地。 2019年发布的HW3是特斯拉第一代自研自动驾驶芯片,算力72TOPS,首次搭载于Model S、Model X和Model 3。 Jim Keller团队的核心成果是2019年推出的Hardware 3(HW3),又被称为「FSD芯片」,采用三星的14nm工艺生产。特斯拉称,HW3的图像处理能力较前代英伟达Drive PX 2 GPU提升了21倍,但功耗显著降低,为视觉优先的自动驾驶方案提供了强大的算力支持。 不过,Jim Keller并没有等到HW3的正式发布就在2018年跳槽了,转头去了英特尔,Pete Bannon接过了自动驾驶硬件团队的领导权。而2023年年底,Venkataramanan因「D2芯片不符预期」离开Dojo后,Bannon又接管了Dojo。 特斯拉2023年发布第二代自研芯片HW4(AI4),算力为121.651TOPS,几乎是HW3的两倍。 从第二代自研芯片开始,HW系列开始更名为「AI」系列。Hardware 4(HW4/AI4)于2023年实现量产,同样由三星代工,采用7nm制程,已搭载于特斯拉的Model 3、Model Y等系列车型。AI5芯片刚刚完成设计工作,采用3nm制程,代工厂换成了台积电,预计2026年年底量产。而AI6芯片的代工合同不久前再次被三星拿下,据称合同价值不低于165亿美元,相当于三星2024年总营收的7.6%。 马斯克称,AI6芯片将采用2nm制程,不仅用于汽车的自动驾驶系统,还将成为Optimus人形机器人的「大脑」,实现一个统一的AI平台。 不止如此,马斯克还想要把训练芯片和推理芯片融合。今年第二季度财报电话会议上,马斯克称,「直观地想,我们希望能让Dojo 3和AI6在一块芯片上实现某种程度的融合。」 2021年的AI Day上,马斯克除了发布Dojo项目,还官宣了robot项目。 Dojo团队解释后,8月7日,马斯克在X上再次重复了上述观点称,「特斯拉在两种完全不同的AI芯片设计上分散资源是不合理的。AI5、AI6及后续芯片将非常擅长推理,并且至少在训练方面也相当不错,目前我们所有的精力都集中在这上面。」并且,他声称,将大量AI5/AI6芯片安装在主板上构建的超级计算机集群其实就是Dojo 3。 Google的TPU证明了从推理向通用的成功,但马斯克多家公司的算力需求可能等不及 先自研推理芯片,然后用推理芯片覆盖训练市场、推出既能推理又能训练的通用芯片,这个路径已被Google证明可行。最初,Google的自研TPU只用于推理任务,例如加速Google的搜索、翻译等服务。从2017年推出的第二代TPU开始,它成为了既能推理又能训练的通用AI芯片,可以用来训练复杂的大型神经网络。2018年开始,Google就将其自研TPU放到了其云计算平台上,开放给Google Cloud客户使用。《华尔街日报》曾报道称,2023年,Google曾用5万多个TPU搭建了一个算力集群,用于训练类似Gemini那样的大模型。 不过马斯克口中既能训练又能推理的通用芯片AI6刚刚才与三星签订生产订单,最终生产出来可能要到2029年。 而眼下是特斯拉有史以来算力需求最高的阶段。去年,马斯克将特斯拉从一个汽车公司重新定位为一个「人工智能和机器人公司」。其旗下的Robotaxi业务已于今年6月开始在美国奥斯汀试运行,人形机器人也即将量产,同时,马斯克的另一间公司xAI也在积极投入AGI争夺战——这些业务都跟AI有关,需要算力训练模型和提供推理服务。仅训练Grok 4,xAI就用了20万英伟达的GPU。 发布无人驾驶出租车cybercab时,马斯克就想把车里的芯片当成可租赁的云计算中心使用。 马斯克也一直想把算力成本中心转变为利润中心,即发展类似于亚马逊AWS的云计算服务,靠出租算力赚钱。基于这种逻辑,摩根士丹利曾在2023年估算,若特斯拉的Dojo项目取得成功,可能为特斯拉增加高达5000亿美元的市值。特斯拉的股价也在那次「重估」后一天内飙升了10%。 摩根士丹利2023年对Dojo项目的估算。 但不断的人才流失可能影响马斯克的通用芯片和靠算力赚钱的双重战略。离开特斯拉前,Bannon同时负责特斯拉的Dojo超级计算机项目和自动驾驶(FSD)硬件业务,也就是说,D系列训练芯片和AI系列推理芯片曾经都在他手里。 和最初领导特斯拉自研芯片项目的Keller一样,Bannon和Venkataramanan都曾在AMD工作多年。DensityAI另外两位创始人Bill Chang与Ben Floering同样出身特斯拉,特斯拉前投资者关系主管Martin Viecha也以顾问身份加入了该团队。据报道,该公司计划为机器人、自动驾驶汽车和数据中心的AI基础设施开发专用芯片、硬件和软件,正在洽谈数亿美元资金的融资。(转载自新皮层)
