Pat Gelsinger 谈 AI 基础设施的内存墙、封装与能源瓶颈
点播放，字幕跟着声音走
Subtitles follow the audio
逐句文字稿
点任意一句，从那里开始听
正在加载字幕…
-
在AI数字时代，能源容量就等于经济容量。
-
如果我连电都供不上，那建新数据中心、买上百万块GPU又有什么意义？
-
你会看到，好多这类数据中心项目会越来越多地出现违约，因为根本就没电。
-
每当你有了让某件事变简单的技术，就意味着瓶颈转移到了别的地方。现在瓶颈已经不是芯片了，而是机架。
-
我花三个月把它设计出来，但还要再过九个月才能真正开始用它。
-
过去30年里，我们到底有过多少种重大的新型存储器？
-
30年来第一次，存储器的创新就近在眼前了。
-
大概25年前，我就宣布过铜的死刑。
-
总有一天我会是对的，这对我们所有搞硬件的人来说都是如此。
-
这就像一场摆在我们面前的文艺复兴。
-
AI推理加速芯片，而且我敢肯定，我甚至都认不全它们。
-
你们为什么投了那么多这类公司？
-
你们也一直想分到自己应得的那一份嘛。
-
从历史上看，任何行业里都从来没有出现过一百家相互竞争的处理器厂商。
-
这是暂时的吗？
-
它会重新收敛到少数几家。在我看来，这就像是一场……
-
今天我请到了我们尊敬的嘉宾、亲爱的朋友、也是我的前老板，Pat Gelsinger先生。欢迎你，Pat。
-
Pat目前是Playground Global的普通合伙人。
-
不过你在业界非常非常有名，因为你领导过Intel，当过Intel的CTO，当然还领导过VMware，还有很多其他经历。所以欢迎你。嘿，谢谢。
-
Raghu，很高兴和你还有Guido在一起，对吧？对我来说，这感觉有点像是回到了老家，对吧？
-
是啊，你知道，就像我们把一年的变化叠加在一起了，对吧？
-
但你俩看起来还是老样子。
-
我感觉精力充沛，那我们就开始吧。你从来就没有哪天不精力充沛过。
-
所以这没什么新鲜的。不过，对，不，咱们其实还是先从你在 Intel 的职业生涯聊起吧，对吧？最近 Andreessen Horowitz 创办了这个 Horowitz and Renaissance Academy，目的就是找到 16 到 22 岁之间有才华的年轻人，
-
然后把他们放到一个现代教育环境里，这样他们就能做好准备，将来要么自己做事，要么加入现在的公司。
-
你有过类似的经历，比如你上了一所普通技校，然后大概 18、19 岁就进了 Intel，我没记错吧？
-
是啊，那真的是一段挺神奇的时期。我当时 16 岁。
-
我误打误撞拿了奖学金。我上了技术学校。
-
我跳过了高中最后一年半，18 岁那年 Intel 来招人。
-
而且我从来没坐过飞机，但已经在技校里爱上了计算机。
-
那个面试官，对，他叫 Ron Smith。
-
他在他的表上写，我是他那天面试的第 12 个人。
-
如果你连续面试了 12 个人，到后面你连男女都分不清了，对吧？你知道，我就是第 12 个。
-
他说：聪明、有冲劲、傲慢。他会很合得来。
-
所以我就被邀请去 Intel 了，然后，你知道，一切就变得特别棒。
-
你知道，一开始是技术员，在 286 末期进了设计团队，你知道，是 386 的第四号工程师，你知道，还是 486 的架构师和设计经理。
-
所有这些，都是我一边读本科、硕士和博士，一边做的。
-
所以这简直是你可能拥有的最棒的职业道路。
-
你白天在学，你知道，晚上就把它付诸实践。对。对。
-
我正在迎来一个全新的芯片时代，为了……
-
我敢说，你学到的大部分东西和你做出来的东西之间，有很大的差距，因为你在开辟新领域。是啊，从很多方面来说都是这样。
-
而且你知道，那真的是这个行业里一段非常不可思议的时期。
-
而且我记得，你知道，有一次在一个教授的课上，你知道，他提出了一种新的超前进位加法器设计，对吧？
-
而且我在斯坦福的一门课上，所以我说，嗯，我正在做 386 的超前进位加法器。那让我去试试看。
-
所以两天后我回去找那位教授，跟他说，这行不通。
-
然后我就开始跟我在斯坦福的教授争论起来了。
-
而且就像，你知道，怎么说呢，接下来两节课，就全是我和教授在争论，为什么他的设计行不通。
-
他有一本书正要出版，里面就用了那个设计。
-
所以这特别让人恼火。
-
哦，那对他来说时间上可太要命了。
-
而且，你知道，我们开始搞内建自测试，对吧？
-
你知道，我记得斯坦福的 Ed McCluskey 是我的教授，他可以说是这个领域的鼻祖。
-
而且我们有过特别精彩的争论，争论他大部分想法为什么不好、为什么不实用、没法用在真正的芯片里，但我当时正把内建自测试用到 386 里。
-
John Hennessey 是我的论文导师，显然他后来干得不错，对吧，我是说？
-
我还帮了他事业一把，他后来当上了校长，从那以后他也一直做得不错，所以，是啊，就只是——这个我们待会儿再聊，关于这场讨论里的 CIS 课程，但我想先聊聊 486，抱歉，你继续。
-
我在斯坦福教书的时候也有过同样的经历，你知道，你带着一个你认为千真万确的东西来，然后一个在产业界工作的学生来了，说，嗯，其实，不完全是那样。
-
所以，你知道，下一次上课你就回来说，好吧，我查过了，你是对的。
-
是啊，就是这样，你知道，这就是那种互动的一部分。
-
而且我觉得，这就是让硅谷如此独特的一部分原因。是啊。对吧。
-
你知道，因为这里有，你知道，这么多公司，还有，你知道，创业精神，它就像融在这儿的水里一样，对吧？
-
你知道，就是开创事业、新点子，还有挑战……而你在斯坦福这样的地方当教授，就不能指望不被人挑战，还得享受其中。
-
那座象牙塔进进出出的人还挺多的。是啊。我觉得这挺酷的。
-
是啊，那么，486可以说是你的一大成就了。
-
当然，很多人也都参与了它的研发。
-
而且你们当时在芯片设计上还开辟了一些新天地，对吧？
-
还增加了芯片本来该承担的功能，等等等等。
-
是啊，那也是一段特别神奇的时期，因为那时候还没有你后来所说的 EDA 产业。哦，哇。对，没错。
-
而且在 386 的末期，稍微有一点点，但 486 才真的是第一颗用上你所说的现代 EDA 技术的芯片。
-
我们做的是高层次设计，对吧，一种描述，RTL 描述，但当时没有 Verilog。
-
所以，我们发明了 HDL，也就是 Intel Hardware Description Language。
-
所以，我自己写了一种语言。
-
嗯，那你就得给这种语言做一个编译器，对吧？
-
于是我们就给这种语言做了一个编译器。
-
当时也没有自动布局布线。
-
所以我们必须把它发明出来，还和 Berkeley 的 Alberto San Giovanni、Vincent Telle 以及他的一些学生合作，做出了最早的那套东西，最早的布线、最早的自动化时序管理。
-
所以，他们那时候在某种程度上创造了 EDA。
-
很大程度上是这样，而那真的是一个标志性的事件：不仅 486 是这种兼容的流水线微处理器，而且我们还开启了后来构成现代 EDA 产业的许多基础，那真是这个行业一段相当神奇的时期。
-
是啊。
-
那一代是在 AI 接管 Microsoft 的设计流程之前做出来的吗？
-
我现在也正处在类似的转变之中。
-
我觉得这里面肯定有一些方面是这样，你知道，我觉得，当你今天看 jalapeno 这样的东西时，对吧，你会说，你知道，那是一种把 AI 用在芯片设计流程里的第一性原理式做法，对吧，就是把很多那些东西都丢掉，现在你……
-
从这个意义上说，有些设计环节仍然真的很难。
-
在很多模拟方面，SerDes 大概是最好的例子，这些还是没法用 AI 来做。
-
你就是得靠大量硅片数据才能搞定这些。
-
所以你要么在模拟设计上做得特别保守，保守到——这么说吧——能让 AI 来做，要么就只能用笨办法硬啃。
-
但现在，很多逻辑功能真的可以用 AI 工具和技术，以相当不可思议的方式来完成，对吧？
-
你的晶体管预算够大，设计工具也变得越来越聪明，再加上少数专家来引导这些工具以及怎么应用它们。
-
我真的觉得，在这一点上它会有点像 486，对吧？
-
我们以后回看时就会说，没错，那就是芯片设计一个新时代的开端。
-
每当你有技术让某件事变得容易，那就意味着瓶颈在别的地方。
-
那我们现在能猜一下，未来瓶颈会在哪里吗？
-
有些事情看起来 AI 特别擅长，对吧？
-
比如创建软件层，你知道，写内核，你知道，还有很多，我觉得，是那种能够在更高层次上指定目标，然后这些目标被翻译成 Verilog 的能力，对吧？
-
那么，新的前沿是什么？
-
接下来会变难的事情是什么？嗯，你知道，看看今天，你知道，比如说，你懂的，Guido 和 Pat，我们要一起去搞一款很棒的新芯片，我们准备，对吧，你知道，对吧，你知道，而且它会是一款能大幅领先的芯片，因为我们对……有理解。
-
它是 2026，它是 2486。
-
是啊，我们理解 AI 工作负载，然后也理解怎么把它组合起来，然后是写入、乘法、累加，你知道，寄存器结构。
-
同时也能完美看清未来的模型工作负载。
-
以及所有那一类东西。
-
假设我们放开 AI 工具，我们很厉害，三个月内，我们就为它做出了一个超棒的设计。
-
它那些模拟组件，我们一直有点保守。
-
不过，今天我们仍然有几个真正的大瓶颈。
-
其中一个就是，我们仍然有九个月的硅片加工时间，就像那样展示给他们看。
-
所以我能用三个月设计出来，但要真正大规模做成硅片，却要九个月。
-
好吧，这太糟了，对吧？
-
所以如果我们想要这种创新，就必须真正让那个瓶颈改善，因为我们知道。
-
那验证和确认阶段呢，甚至再往后呢？
-
嗯，首先，任何东西从晶圆厂出来都至少要三个月。
-
而且这还是在我有超级加速的设计流程的情况下，对吧？
-
所以我说，我该怎么把它压缩下来呢？
-
然后我还得搞先进封装，这些 3D 封装正变得越来越复杂。
-
所以那又是大概三个月，对吧？
-
然后我还得把它放进机架级解决方案里，因为现在已经不是单颗芯片了，是整个机架。
-
所以就是九个月。
-
设计它花了我三个月，但得九个月后才能真正开始用。
-
那我们怎么开始把设计中的这些环节压缩掉呢？
-
我觉得我们需要新的光刻方式才能做到。
-
我们需要一种设计流程，在我能把东西做进原型之前，不需要花 5000 万美元的掩膜成本。
-
所以，你知道，对我来说，怎么才能把它压缩到一两个月，对吧？
-
因为我现在三个月就能完成设计，那怎么才能让它一两个月就搞定呢？
-
因为如果我得花一年半才能真正上量、把软件跑起来，好吧，那我对 AI 工作负载的理解，就已经不再适用于我设计的这颗芯片了，对吧？
-
你知道，所以，你知道，所有那些——我觉得现在就能实时看到这种情况发生，尤其是在 AI 任务上，是的。
-
对，你知道，这几乎，你知道，我们可以从历史上看，就像，你知道，Graphcore 的设计并不差，但世界已经往前走了。对吧。
-
你知道，而且，对，你知道，呃，从这个角度看，所有这些方面某种程度上都让“AI 已经把设计这块变简单了”这件事变得没那么关键了，而所有这些制造和规模化的问题，对我来说就成了巨大的瓶颈，对吧？
-
当然，另一个瓶颈是内存，对吧？
-
你知道，内存带宽，对吧？
-
你知道，就这个来说，像我说的，HBM 是个很糟糕的内存。但它已经是我们手里最好的了。
-
它是个很糟糕的内存，位密度很差，我被岸线带宽限制住了，还有功耗问题、散热问题，DRAM 不喜欢热。
-
把所有东西都集中在一个地方。
-
是啊，为此给 AI 一个内存计算的工作负载，效果很糟糕，所以我需要把这种开发和实现压缩到真正可规模化的程度。
-
我得把跟它相关的内存问题解决掉。
-
所以对我来说，这是我们要攻克的另一个关键瓶颈。
-
功耗、供电、散热，而且现在大多数功耗仿真方面都很糟糕。
-
你没有好的 3D 建模工具来模拟功耗、功耗耗散、热点等等。你知道，我的输入电压，对吧，你知道，我基本上是在给几乎整个功耗包络留保护裕量，对吧？
-
所以本质上，你知道，我因为留保护裕量，损失了 40% 的功耗。
-
所以我得在功耗建模上强很多，你知道，而且我的功耗耗散方法也很差，对吧？
-
所以，你知道，那个小模型也得改。是的。
-
所以所有这些，你知道，在我看来就是接下来的几个大瓶颈，对吧？
-
你知道，我该怎么，你知道，把每一个都改进？
-
现在，如果我把这些都做到了，好吧，那接下来我们就进入一个令人兴奋的时代了。
-
所以谢谢你们做出这些很棒的AI工具，但就算它们都完全部署好了，我还是面临很大的挑战。
-
所以我们看到，芯片数量、芯片架构等等方面好像都迎来了一次复兴。是啊，是啊。多亏了这些工作负载。
-
是啊，就像现在有一百种AI推理加速器芯片，我肯定都认不全。对，没错。是啊。
-
那你们到底为什么还要投这么多这种公司呢？
-
我觉得你们投的也不少吧。
-
是啊，所以他们都在发挥创意，做出不同的设计假设，要么是在你说的那些组件上，要么是在他们瞄准的Pareto曲线的那一段上。
-
那你们觉得这些都有空间吗？
-
还是说，我们正处在这样一个世界里：一部分是因为Guido说的AI工具，我们现在有能力做出更多不同种类的芯片。是啊。
-
从TAM来看，它巨大无比，不管你怎么看。是啊，说得再挑衅一点。
-
历史上，任何行业都从来没有过一百家互相竞争的处理器厂商，对吧？
-
那这是一个更加异构的未来吗？
-
我们会看到——这会是个暂时现象吗？最后会收敛回少数几家。
-
是啊，我觉得这更像个暂时现象，而且我预计它会收敛。
-
我觉得之所以会这样，大概有三个不同的原因。
-
其中一个，就是你在计算环境里看到的这种逐渐出现的异构化，就是，好吧，现在我有专门做prefill的，也有做decode的。
-
然后现在人们又说，嗯，我们真的需要专门为mid-fill做优化，而不只是pre-fill，对吧？
-
所以现在我有early pre-fill，也有mid-fill，这是不一样的。
-
也许，要是听OpenAI这边的话，就是先speculate再verify，对吧？
-
是啊，然后突然之间，我的算力集群就会按工作负载变得越来越细粒度。
-
而且我觉得，历史上只要出现这种情况，它就不可持续。
-
然后突然之间，你再看这个，现在人们会说，哎，当我转向推理模型的时候，我想要的东西又更像CPU了。
-
所以突然之间，我不想要那个层级了，它没有成为我算力容量里占主导的那部分。
-
我在这边需要更多，用在模型、模型工作流这些东西上。
-
所以我真的不喜欢，我要说，这种规模化的专用化，因为我觉得工作负载会继续大幅变化和迁移。这是第一点。
-
第二点是，我觉得今天的模型也即将经历一些进化式的突破，对吧？
-
我觉得大语言模型差不多要到极限了，而现在人们开始看，我到底该怎么真正给3D建模，对吧？
-
因为当你去做分子、化学品和成像的时候，扁平的大语言模型就不太好用了，所以我觉得我们会看到它的极限，而这会在算法领域引发不同的转变。
-
我还觉得，一些最有意思的工作负载会出现在你开始，我会说，把类HPC的东西重新带回到类AI的东西里的时候，突然之间，64位精度又重要起来了。
-
那能举个例子吗？
-
嗯，想象一下，我的AI模型现在正在归纳出化学分析里最有趣的五个领域。
-
那些化学算法会以高精度运行，而这会成为工作负载里的主导部分。
-
也就是找到我需要运行的那五个算法，或者把这五个算法跑在不同的化学或生物系统上。
-
我确实觉得，随着我们优化AI系统，它们会把我们带回到一些更传统的高性能计算的东西上，所以我也看到了工作负载的这一面。
-
话虽如此，这种在计算架构上的极端专用化，对我来说我不喜欢，因为我不觉得两三年、三四年后的工作负载会是那个样子。
-
所以这就是一个原因，让我觉得这些AI芯片随着它们越来越针对算力工作负载的某些部分做专用化，未必就一定是对的。
-
你知道，第二点，对吧，现在已经差不多有一百来种了，对吧？
-
你知道，有好多光学的，有概率的，等等。
-
而且你知道，它们不会全都赢，它们不会全都赢是因为说到底，你得让这些东西做出规模来。
-
而规模需要，你知道，你得赢，你得拿到资本，你得让工作负载跑上去。
-
所以我觉得，你要有一百种这种东西，这有点违背逻辑。
-
所以我觉得，它们会重新收拢回来，原因很简单，就是资本市场、市场份额这些，最后胜出的会是那些赢的团队、赢的设计、赢的架构。
-
所以我觉得，是工作负载在推动这件事，我也看到行业会自然发生整合。
-
然后我还预计，赢家会挑出一些赢家。
-
比如说 OpenAI、NVIDIA、Anthropic 会说，我喜欢这个，因为它不只是硬件，关键是硬件和软件怎么围绕它共同演进。
-
我确实预计会出现这种情况：这儿有十个我可以为这个挑，我喜欢那一个。
-
但这确实需要在软件和工作负载演进上投入，才能真正利用好这些平台。
-
出于这三个原因，对，我们会看到，你知道，从这个意义上说，这个领域会收窄。
-
还有部署复杂度。对。抱歉，你继续。这完全说得通。我觉得我同意。
-
说到这里，我还是想稍微挑起一点争议，就为了把话说清楚。
-
你不挑起争议？不，完全不是我。
-
你们把它改了，对吧？
-
所以很明显，100 家公司不会都活下来，也不会都整合，对吧？
-
我完全同意你的论点，说到底，大客户在一定程度上会挑选赢家，对吧？
-
今天我觉得，某种程度上，能不能算一线芯片初创公司，不管你到底是不是，关键取决于你在那些真正的大玩家那里有多少市场认可。
-
话虽如此，也有一种说法是，你看，在任何一种转型期，你可能都会看到更多不同路线的爆发，而且随着时间推移，这些最终会被洗出来。
-
现在，尽管如此，我觉得你可以提出一个论点，基本上就是说，你看，历史上我们标准化到一两种架构，是因为不同的指令集很难搞，你得构建多个编译器，
-
基本上，软件复杂性决定了你只能有数量有限的硬件平台。
-
这部分在 AI 时代似乎正在发生一点变化。
-
如今，要写一个优化的 kernel，我的意思是，我觉得 Jalapeno 就是个很好的例子，他们基本上说，你看，人类已经没法真正给这东西编程了，但一群 agent 一晚上就能搞定。我们要的就是这个。
-
所以基本上你可以说，如果你能造出一颗具备某些能力的芯片，那现在构建能充分利用它的软件层和工具就容易得多。
-
那会不会导致我们拥有稍微多一点异构性，就是因为以后给这种异构性编程更容易了？对。
-
我确实觉得这会改变其中一些东西。
-
瓶颈落在哪里，对吧，这方面会变。
-
第一个瓶颈，就是我会指出的那个，我们已经聊过了。
-
把这些东西造出来仍然要一年半。对。没错。
-
然后第二个瓶颈是，不只要花一年半才能把这些东西弄进机架、形成规模等等。
-
现在，要让它们有用，好吧，我能借 500 亿吗？
-
你说的不是小额资本支出，你说的是非常大的资本支出，还有数据中心、电力承诺等等。
-
我得把跟它配套的这套东西大规模建起来，所以结果就是，这会压制很多异构性。
-
现在，显然那些大玩家，我们在 Nvidia 对 Grok 做的事情上就看到了这一点。
-
好吧，你知道，我们会多少掌控其中一部分异构性，对吧？
-
而且，你知道，两年后，你根本分不清 Nvidia 里面是什么 rock，对吧？
-
它就会像是又一个专用芯片一样，对吧？你知道，差不多就是那样。
-
所以你会看到这些架构，你会多少把异构性藏在它里面，对吧，这在我看来完全没问题，对吧？
-
你知道，我的意思是，分层、抽象一直以来在这方面做的就是这件事。
-
你知道，但我觉得这些力量很强大，可以说，会让很多异构性暴露出来？
-
不。我觉得它会在这些东西底下被抽象掉。
-
但说到底，把这些东西大规模造出来仍然很难。
-
之前你提到过 HPM 是一种很糟糕的内存。
-
它是我们今天拥有的最好的一个，远远胜过其他。没错。
-
说到内存这东西，我们都想不起来上一次内存创新是什么时候了。可能就是 Optane。
-
我觉得你大概跟这事有点关系。对，那个死了。那个死了。是我们把它干掉的。
-
对，是你把它干掉的。
-
所以，你觉得内存创新快要来了吗？
-
那需要发生什么才行？显然，我们理解规模问题，因为在那里的规模还要大得多。
-
但如果先把规模放一边，单从技术角度来说呢？
-
对，那咱们来看看这段历史。
-
我个人大概至少参与过五种不同的新内存架构，Optane 只是其中之一，对吧？
-
你知道，那些也都没能见到天日，对吧。
-
这个行业过去30年里出现过的，我大概熟悉将近100种。
-
那过去30年里，我们到底有过多少个真正重大的新内存？零。零。
-
你知道，好吧，DRAM、SRAM、FLASH，行。还有别的吗？DRAM、SRAM、FLASH。
-
你知道，所以我确实觉得，这……
-
FLASH 堆叠算是一点点。勉强算吧。对吧？
-
但不管怎么说，对吧。
-
所以，你知道，从这点来说，挺令人失望的，我们没能创造出下一种物理机制，来实现低成本、高性能、可靠又可量产的内存。
-
所以我确实觉得，而且过去三四十年里，内存一直是个糟糕的行业，对吧？
-
因为可能一年赚钱，接下来四年都亏钱，对吧？
-
所以，咱们去一个五年才赚一年钱的行业搞研发吧，对吧？
-
它一直就是，一直就是难到极点，因为它被那种极其剧烈的商品化周期推着走。
-
不过，最近这情况有点变化了。
-
就过去这五年吗？
-
好日子啊，兄弟。
-
所以三大内存厂商现在都进了全球市值最高的20家公司。是啊。这变化太疯狂了。
-
这事儿就是这么回事，你知道吗，谁能想到呢，对吧，跟它相关的这一切。
-
而任何看AI工作负载的人都知道，嗯，你知道，这事儿要难得多，你知道，你知道，预测过去容易，但预测未来就有点难了，对吧？
-
而且，你知道，从这一点看，你会说AI就是一个内存世界。没错。对吧，你知道，就在它里面。
-
所以我觉得，资本和技术需求结合起来，会让内存创新变得理所当然。
-
现在，有两个领域让我很兴奋，你知道，其中一个是，你知道，这个想法，你知道，我确实认为HBM的shoreline带宽限制是个根本问题，对吧？
-
所以顺着这个，而且很明显，我们有一家公司D-Matrix在做这件事，但我觉得其他公司也会做，不管是Cerebris还是他们的技术。未来就是堆叠。
-
反正你得把内存和——从不止一个层面来说。
-
你得把内存和计算结合到全新的基础结构里。
-
我确实认为，鉴于现在AI领域有这么多资本投入到这些工作负载上，我确实觉得我们实际上也能突破其中一些物理挑战。
-
所以我确实相信，而且你知道，我刚也投资了一家新的内存公司，它还在秘密阶段，但你知道，我对新内存中会出现的一些创新相当兴奋。
-
而且你会看到，你知道，内存会用到新材料。
-
你知道，很多人在研究像铁电材料这样的东西，你知道，寻找非电容式的、你知道，高密度内存，寻找那种可以，你知道，做到高性能、高密度又能堆叠的内存，对吧？
-
但你知道，人们在看低成本闪存，你知道，就这个来说，我自己对那个想法并不是特别热衷。
-
我觉得，你知道，用闪存或者MRAM结构的话，底层单元的速度和性能都有些问题。
-
你知道，但我确实觉得，三十年来第一次，内存创新要来了。
-
而且我确实觉得那会是个令人兴奋的领域，而且你知道，我们在那儿会有几家公司。我敢肯定。
-
希望我们能一起做几个这样的项目。
-
好吧，你知道，不过我们会在这儿找些事情来做的。
-
但我觉得，三十年来第一次，内存创新已经近在眼前了。
-
很惊人，就两三百亿美元的市值，我们就能拿到一千亿美元。
-
你知道，我觉得内存行业在过去四年里市值已经增长了两万五千亿美元。
-
我觉得差不多是这样。
-
只是在那儿投了钱，没做什么地方性的东西。
-
多久？你怎么看？抱歉，你继续说。对。
-
稍微展开说一下堆叠这部分，如果让你预测，我们的芯片会以多快的速度变得更高？
-
这会像，你知道，我们走到两层然后就在那儿停一阵子，还是会有，你知道，16层的三明治，你知道，把逻辑、内存和SRAM开开心心地混在一起？HPM 退出了。
-
HPM 正在往下走。
-
但你觉得这会怎么演变？
-
对，我觉得现在堆叠的问题本质上是，随着堆叠的维度越来越高，整个堆叠的价值会变得更大，这意味着堆叠过程中每一层的良率都必须持续提升。
-
本质上，它不能线性上升，必须指数级上升。
-
而且要以指数级的方式改善制造和缺陷特性，你知道，等你做到8层或16层高的堆叠时，把相关的数学一算，那就会变得非常非常难。
-
你知道，你的制造流程必须近乎完美。
-
尽管你可以看到一些设计会把某一类模型考虑进去，就像我们在二维上已经看了很久的那样。
-
当然，但记住，那本来就是DRAM的本质。
-
你总是会有坏块替换、备用线之类的机制。
-
所以我绝不是要轻视这一点，但假设你做到了这些，你仍然需要良率高到那种程度。
-
如果我这颗裸片裂了，我根本不管你给它内置了多少容错。
-
那也不行，它就是颗坏裸片。
-
所以结果就是，我不是那种疯狂追求16层、32层堆叠的人。
-
我觉得会有很不错的三层、四层、五层堆叠，最后差不多就是那个最佳甜点区。也就是中间层数的，对。对，没错。
-
而我觉得，这里面一部分是制造，一部分是它带来的复杂度，那些良率甜点区就是和这些相关的。
-
所以我觉得大多数方案最后差不多都会落在那个区间。
-
但即便到了那儿，对吧，假设我现在有一个很棒的计算模块，对吧？
-
那这个计算模块需要多大？
-
我是说，现在所有东西都受光罩尺寸限制了，对吧？
-
我能不能用更多芯粒？这样良率特性更好，散热也更好。
-
然后你就会说，我要在那上面放一个内存堆叠。
-
是两层堆叠的内存，还是四层堆叠的内存？
-
我不觉得它会变成八层堆叠的内存。
-
所以对我来说，两层或四层就对了。
-
但这样一来，供电也得集成到那里面去。
-
所以那就成了另一个要素。
-
我希望这个在Z方向上跟它结合在一起，因为我也想让电源轨进到这里面来。
-
然后我需要相当智能的RDL层，把信号分布到整个平台上。
-
所以某种程度上，把这些相关的部分都加起来，我的典型方案已经差不多是一个八层堆叠了。
-
所以从某种程度上说，把我那个典型的东西相关的所有部分都加在一起，它已经差不多有八层厚了。
-
我觉得这基本上就是你能做的全部了，至少按我们今天对制造的理解是这样。
-
然后当然，我们预计光学也会加入进来，所以你会看到更多 3.5 材料结构，会更靠近这个复杂结构，因为，你知道，我的 I/O……
-
你知道，基本上也会深深地集成到那个构造里。
-
你知道，所以我这些以硅为中心的部分，需要由一些别的 3.5 材料来补充，那我怎么把光学连接做进去呢？
-
我怎么把电源轨，你知道，也做进去呢？
-
你知道，那是一个，你知道，我会说，把所有这些部分凑到一起，是一项工程壮举，也是一场制造噩梦。
-
但这就是随着时间推移，物理规律把我们带向的地方。
-
所以正因如此，你知道，硬塞一个 16 层高的堆叠进来，你知道，那简直疯了，你知道，两到四层高的内存堆叠，你知道，我觉得那大概才是最佳平衡点。
-
而且你还没谈到散热，以及为此需要的新材料。对。对。
-
而且显然会有很多，你知道，首先，对吧，你没法再容忍今天有的那些，你知道，物理热点。
-
所以你必须更聪明地利用热、把热散开。
-
但接下来你会说，好吧，我怎么才能既把功率送进去，又把这些环境里的功率耗散出去？
-
顺便说一句，如果我能在我想要的电压下，以高得多的效率把电送进去，同时电源响应和电压调节都好得多，那我就不会制造那么多热烟囱。
-
但我确实得想，好吧，我怎么给这些东西降温？
-
而且像金刚石和其他材料，被认为能更好地实现热冷却，它们该扮演什么角色？
-
那我怎么才能有更好的液冷技术和其他方案，直接贴在上面，并且有很好的热特性？
-
所以是啊，我们工程师都快变成水管工了，对吧？没错。
-
是啊，你得操心 MEC，芯片尺度这件事。
-
让我问你一个正在起作用的现象，就是有些人说，嘿，咱们把内存从封装上拿下来，干脆在计算和内存之间全走光学。
-
那会给你更多自由度，以及更多构建东西的方式。
-
跟堆叠这个另一个极端相比，你怎么看这件事？
-
嗯，你知道，我觉得你的 OEO 接口，对吧，越多，你知道，光到电再到光，你知道，你在核心计算复合体里要求的这些转换越多，对我来说就越难办，对吧，从这个意义上说。
-
而且这里面总会伴随着损耗。
-
你知道，人们，你知道，正在努力想更巧妙的办法来降低，你知道，成本和功耗，对吧？
-
你知道，当我经过我的，你知道，DAC，还有，你知道，各种转换的时候，我浪费了多少功耗？
-
所以我不喜欢那些，你知道，因为我觉得它能让你接入大型内存池，对吧？
-
但为了到那儿，我得烧掉很多功耗。
-
而且记住，基本上，现在每次计算的飞焦耳数其实已经好得相当惊人了。
-
而每比特通信的飞焦耳数相比之下要差 1000 倍。
-
如果为了够到大内存池我要花那么多，那我就不喜欢这些方案。
-
就我自己而言，我觉得它们多少有点违背这个方案背后的底层物理。
-
我是说，然后还有另一种思路，就像是说，你看，我们能不能真的把计算和内存直接集成起来，对吧？
-
把一部分计算挪进内存里。也就是一些 PIM 方案。对，没错。
-
那你怎么看这个？
-
那些我也不喜欢，对吧？
-
因为我觉得工作负载，因为现在我得把我的工作负载，把这些一小块一小块的计算塞进内存里，对吧？
-
这样内存进到我真正计算部分的带宽就不用那么大，而这会给工作负载带来限制。
-
话说回来，这事儿我可能也会错，尤其是我们现在能通过设计层面带来的那些设计灵活性和智能，但大多数 PIM 思路已经存在 25 到 30 年了，我觉得再过 25 到 30 年，它们从这个意义上说还是会继续存在。
-
给我出色的内存带宽，让我能有高密度、高性能，还能把它放到真正的计算引擎附近。
-
我预计，随着时间推移，面对许多不断演进的工作负载，这会是一个更可推广的解决方案。
-
所以我们仍然卡在越来越密的芯片、越来越多的计算、越来越多的逻辑、越来越大的功耗上。IO 倒是好多了。
-
现在，我特别支持把所有 IO 功能都转向光学。
-
大约 25 年前，我就宣布铜已经死了。
-
最终我会是对的。
-
是啊，很快有一天我会是对的。
-
但对我来说，所有 IO 都应该走光学，对吧？
-
但核心的计算和内存那个复合体，不行，对吧？
-
那你觉得，它转向光学的第一步是纵向扩展，甚至比横向扩展还更是如此。对对。
-
你对此怎么看？
-
是啊，你知道，我觉得我们现在看到的是——可以说是工作负载驱动因素的应用吧？
-
嗯，我觉得工作负载驱动因素就是我们眼前这个。好。对。
-
我是说，你知道，今天，你知道，我们的纵向扩展环境里，我们用了成吨的铜，对吧？
-
你知道，本质上铜正在变成一种越来越短的波导，对吧？
-
突然之间，你知道，要让我的铜在，你知道，五米的距离上工作，比让光学工作更贵，对吧？
-
在 100 米的时候，对，你知道，所以，你知道，我觉得今天物理学正在把我们推向那里，你知道，那么如果是这样的话，Pat，为什么我们还没有转过去呢？是啊。
-
这是一个复杂的供应链，你知道，它从来没有被大规模验证过。
-
而且我觉得现在，你知道，大家都在看，你知道，某种形式的 NPO、CPO 等等，你知道，在 28、29 年这个时间窗口，因为，你知道，如果不做这个转变，我就没法从纵向扩展环境扩展到大型 radix 计算集群。
-
所以，你知道，NVIDIA 显然已经表明了这一点。
-
我觉得行业里其他所有人都预期，你知道，那会是转换点。
-
你知道，实际上，我根本就不该造 NVL-72。
-
你知道，它是个工程奇迹，但却是制造上的噩梦，对吧？
-
你知道，整个行业，你知道，多花了一年半才把这头巨兽消化掉，对吧？
-
而且真的很了不起，你知道，我们居然能让它实现规模化，等等。
-
但这确实证明了，要是我们当时有更成熟的光学供应链，我们今天会先进得多。
-
我们今天就能建出更好的纵向扩展环境，更好的功耗、更好的成本、更好的能效。
-
但我们当时没有足够成熟的光学供应链来支持这一点。
-
而且这些事解决起来都不是小事。
-
还有很多工作要做，但我觉得 28、29 年就是那个时间点。
-
我们大概正在积累很多关于封装内光学在网络中如何运作的经验。
-
而且我觉得其中很多都会很顺利地迁移到 2GPUs 上。
-
但突然之间，就变成，好吧，这些东西得在 1000 万 GPU 的规模下工作。对吧？
-
它得能塞进封装里。
-
而且那里有太多事情了，很多种光学方案都不喜欢糟糕的散热。好吧，你猜怎么着？
-
可糟糕的散热正是这件事的常态。
-
所以我们要处理散热问题、封装集成问题，而且行业里没有足够的激光器产能。
-
所以有一堆问题，但我不觉得其中有什么是根本性的。
-
只是到了这个阶段，要把所有这些拼图凑到一起，需要大量艰苦的工作。
-
就网络架构而言，这是否也意味着要转向更多电路交换网络，仅仅因为你没法无限扩展这些超快的光网络？
-
嗯，你知道，我很喜欢，你知道，Nick McCune，你知道，这里的另一位斯坦福教授，也是我的好朋友，你知道。
-
你知道，我是说，你也算认识他一点点，Guido。
-
他是你的论文导师吗？他曾是我的论文导师。
-
对，对，对。
-
所以，不过，你知道，对我来说，他讲得很到位。
-
你知道，我们当初建网络，就是为了能让任意数据包去往任何地方，而完全不知道它可能会去哪儿。
-
但一到 AI，情况几乎正好相反。
-
我们现在处理的是又大又可预测的流。
-
从这个意义上说，光是这个描述就说明，它更像交换机，而不像数据包。
-
我确实觉得，向光通信迁移，以及拥有一种可预测得多、更可管理、流量规模也大的工作负载，这种交汇。
-
对我来说，我确实看到了，是的，我们会一路把光带入计算复合体，也会一路走到 OCS，用某种形式的光交换来支持更可预测的流量。
-
那才是正确的架构，然后你差不多就会问，这到底是纵向扩展还是横向扩展？
-
而且在某种程度上，如果我的纵向扩——对，我正想说，它有点把那里的边界消解掉了。对，没错。
-
如果我的纵向扩展足够大，那对，就只是说，好吧，纵向扩展环境里的 radix 是多少，而且有一天我想把它接到其他非常大的集群上。
-
而对我来说，这合起来就是面向未来的一个相当漂亮的答案。
-
但我面对的可是一个在这方面比我专业得多的人。
-
你看，我一直觉得，纵向扩展和横向扩展在某种程度上是一种人为的区分。
-
而且你明白这种区分是从哪儿来的，对吧？
-
我们其实是在用不同的协议。
-
一个是前端网络，一个是后端网络，等等。
-
所以现在，从实际角度来说，这个区别还是很大的。
-
如果你退一步，从系统架构的角度来看，它实现的是同一个目标，你知道，只是方式略有不同，协议略有不同，而我认为随着时间推移，这些会逐渐趋同。对。
-
我是说，尤其是训练这种工作负载。
-
对。
-
不过我是说，训练和推理开始变得挺像了。
-
对。
-
现在我要接着往下讲，你知道，对吧。
-
你的大脑会停止学习吗？对吧。
-
你知道，顺便说一句，这是工作负载演进的另一个特点。
-
我确实这么觉得，而且推理往后会变得，你知道，更少这样，而不是更多这样，对吧？
-
这有点像是反对，你知道，你知道，越来越多异构架构的一个论据，我觉得就是持续学习，你知道，我觉得会有一些算法领域会说，对，持续学习，你知道，会成为算法的本质，而在这种地方，对，
-
我确实希望我的推理环境能不断更新我的模型权重，因为，你知道，这让我得到越来越多的细化，你知道，让我能跨越，你知道，各种工作负载演进，也进入那些训练不那么正式化的环境。
-
在那些环境里，我们的数据集会更小。
-
所以，你知道，我不确定那是不是一个……
-
但在推理里，为了变得有用，你需要的节点数，比起训练，规模要小。这就是它的意思。今天确实如此，对。
-
我是说，我还是觉得异构性可能从另一个角度发挥作用，那就是不同类型的 AI 工作负载需要非常不同的底层代码。
-
比如有些更受算力限制，有些更受内存带宽限制。
-
比如它们有一个小型的扩散模型工作负载之类的。
-
对那个来说，最优的卡，和那种顶级的、50 万亿权重、需要在超大规模下运行的 大语言模型 相比，看起来会非常不同。
-
我觉得，如果真要说有什么影响，那反而可能会推动异构化。
-
我觉得这里还是有一些空间的。
-
但我也想说的是，好，现在我讲的是让一百万块 GPU 在我的数据中心里跑起来。
-
然后你说，嗯，对于那种特定的 diffusion 工作负载，我真应该放一个按这种方式优化的东西进去。
-
所以我现在要开始往里放一千个这种了。
-
而针对那个工作负载，我又需要往里放两千个这种。
-
结果一下子，你就得不到你原本会说的那种规模灵活性了。
-
而且管理、升级、连接，还有故障域，这些得花我多少钱？
-
你知道，所有这一类的事情。
-
智能体会把所有升级都做了，所以那不是问题。是啊。是啊。是啊。谢谢。一切都变简单了。所以，好。我不在乎。是啊。所以，机群管理就算搞定了。
-
所以，我们聊了计算、内存、网络，接下来就是电力。是啊。是啊。
-
而且你刚才也提到了，在芯片内部、在芯片上做垂直供电。
-
但我的意思是，还有 800 伏直流电。
-
还有向数据中心供电，有一整套生态系统一路延伸到发电，还有其中的社会政治维度，等等等等。是啊，是啊。
-
那创新到底从哪儿来，而哪些又只是，嗯，纯粹的执行？
-
嗯，如果我们从第一性原理来看，我们国家在能源产能上做得非常糟糕，对吧？
-
你知道，基本上我们经历了 10 到 15 年，那段时间里，我关停煤电的速度，基本上就跟我新增可再生能源的速度一样。
-
而基本上，整个国家在总体能源产能上就是一条平线。
-
这可不妙，因为在 AI 数字时代，能源产能就等于经济产能，对吧？
-
所以本质上，如果你认同这个论点，我们作为一个国家的经济产能就停滞了 15 年，对吧？
-
而我觉得这一点非常，你知道，站得住脚。
-
过去这五年，你知道，我们看到了一波巨大的涌入，而它只是给了我更多产能。
-
但是，你知道，我觉得，你知道，即便这样，我们也就是把国家能源产能每年提高大概 4%。差不多就是这样。
-
就是从，你知道，基本上的零变成一，对吧？
-
哇，4倍，或者，嗯，4%，对吧？
-
所以对我来说，你知道，那个，你知道，这情况很糟糕。
-
所以我们就是需要更多能源产能来支撑它。
-
所以第一，很明显我们在这个领域有一些公司，你知道，我们也跟 ALVA 聊过核电增容，那算其中一个方向。
-
而且，你知道，我觉得核能，对吧，你知道，作为基荷电源，你知道，是件特别棒的事，我们想要多建一些。
-
你知道，不幸的是，我们所有的可再生能源，你知道，都深度依赖中国，这对我们来说非常不幸。
-
我们现在燃气轮机的交付周期，在这个节点上已经要八年了。
-
我的意思是，我们真的要快速扩大规模，环境非常困难，但有一点，我们就是需要更多产能。
-
从根本上讲，能源产能多少会压住我们对 AI 的那种狂热。
-
因为如果我都没法给它们供电，那为什么还要建新数据中心、买上百万块 GPU 呢？
-
而且我觉得你会看到，很多这类数据中心项目会出现越来越多的违约，因为能源根本跟不上。
-
所以你觉得这会是一个很大的逆风？我觉得会是个逆风。
-
而且我觉得你已经开始看到一些最初的迹象了，Oracle，我觉得这只是你接下来会看到很多个中的第一个。
-
当然，这并不是说我们会因此慢下来，但我觉得人们会开始说，我到底有没有足够的能源，来支撑我为数据中心机架和 GPU 采购做出的资本承诺。
-
所以我确实觉得这会成为一个上限。
-
但我们需要更多能源产能，我们需要在这方面投入更多创新，我们也需要把更多这样的供应链放在美国。
-
核能，是我最喜欢的方向之一。
-
美国上一座投运的核反应堆是什么时候？那是 20 年前了。
-
我们就这么把一个非常强的产业给停了下来。
-
所以那是我们需要更多的一个方面。
-
我们在电力网络的输送上得变得高效得多。
-
就像你说的，转向 800 伏直流的数据中心。完全同意。
-
因为历史原因和标准化原因，中间有那么多转换步骤，要是能省掉就好了。好吧，这个我们必须解决。
-
在 800 伏直流这件事上，爱迪生的复仇来了。
-
对，我正要说这个。
-
我常说，你知道，我确实觉得归根结底，我们需要更好的电源转换。
-
你知道，我们投了几家公司，其中有一家做垂直氮化镓的，我觉得那会是个杀手级技术，能一步就把 800 伏转成 48 伏，或者 800 转 12，甚至 800 转 5，对吧，这样你就能得到多得多的能量。
-
你知道，我们刚才提到——固态变压器？
-
对，你知道，所有这些，固态变压器、开关等等，都是在重建电力输送网络。
-
我觉得这里面会有很多创新，就像，好吧，电力又变酷了，对吧？
-
然后你在冷却系统里也需要这些东西，对吧？
-
所以那里面也会有一大堆创新。
-
所以，涡轮机和制冷剂，突然之间它们又成了令人兴奋的新技术。
-
所以，对我们这些搞硬件的人来说，这就像是眼前的一场文艺复兴。这将会是……
-
25 年之后，我还得回去重读卡诺定律。卡诺效率。哦，是啊。这可真是好东西。
-
那热力学第一定律又是怎么跟它对着干的呢？
-
看来物理这门功课在这里终究还是有点用的。
-
所以从这个角度来说，这会是个激动人心的时代。
-
但我们也说了，我们需要改变物理层面，对吧，因为 CMOS 并没有进步。你知道，NVIDIA 芯片最近五代，每 Teraflop 的功耗基本是一条平线，没有变化。这可不行。对吧？
-
这就是某些东西能派上用场的地方，你知道，我们有一家超导公司，叫 Snowcat，对吧，它让我们有机会从根本上改变物理规律，你知道，功耗表现能好上一千倍。
-
所以我确实认为，其中一些创新在不久的将来也会来到我们身边。
-
所以过去这一个小时，我这个时间管理真是糟糕透了。
-
所以，还有那么多话题要聊，我们都没聊到，但在走之前至少得聊一个。
-
因为现在——你说了算。对，所以我想。
-
现在虚拟机又回来了。
-
作为 VMware 的前 CEO，你怎么看这件事？
-
嗯，你知道，我——我觉得自己在这场前 CEO 和虚拟机的对话里被排除在外了。
-
一部分原因是，我本来也想聊聊网络，但我觉得我们没时间了。
-
不过嘿，我觉得每一次创新总是会引出下一个抽象层，我也觉得这里的很多想法——我总喜欢说，我们今天这个世界有什么新东西？
-
数据结构、算法，还有抽象。
-
我们会把它拉回到那些基础概念上，而且嘿，我觉得虚拟机抽象，不管是在基础设施层面做，还是在应用层面做，我认为它仍然是一种基础性的抽象模型，应该始终在计算层级里占有一席之地。你们觉得呢？
-
咱们俩是不是得有一个回去重新执掌 VMware？对，我正是这么想的。
-
我想我跟 Guido 说过，是时候回去重新执掌 VMware 了。
-
而且我确实觉得，这些抽象里有一些——但你也会想想，比如我们在 VMware 做的其中一件事，就是我们基本上管理了计算层级的方方面面。
-
你管理工作负载，你管理网络，你管理存储系统，那你怎么把这些抽象出来？
-
我觉得在 AI 的语境下，我们会想到这些智能体集群，那么，谁来管理这些智能体呢？
-
谁来为所有这些智能体建立安全配置？
-
谁来管理这些智能体的性能？
-
本质上，虚拟化和管理的每一个基本要素，都需要在这个下一代计算层级里重新构建。
-
而且会有很多很棒的公司，在具体怎么做这些事情上取得突破。
-
你想用网络这个话题来收尾吗？
-
我还想在虚拟机上多聊两句。
-
对我来说最有意思的是，我们现在造虚拟机，是为了让智能体能用，而不是让人能用。
-
我们在其他一些公司看到的是，产品形态变化很大，这也会大大改变你营销它们的方式，对吧？
-
你会希望由智能体来为你的虚拟机产品做选择。
-
这会大大改变你能承受的复杂程度。
-
这会改变启动速度应该有多快。
-
人类比智能体有耐心多了。
-
所以，如果你今天要重建 VMware，它会有什么不一样？对。
-
而且我确实觉得——就像面向智能体的 VMware，对吧？
-
对，我确实觉得，你知道，是不是需要一个给智能体、也给人类用的 VMware？我明白你的意思。是的。
-
你知道，从某种意义上说，你知道，我是需要人类的。咱们还是聊智能体吧。
-
它们现在比我们有意思多了。
-
但你知道，我觉得这是个很重要的点，因为我确实认为需要有，你知道，我借用，你知道，Dario 的那套宪法，对吧，或者说是护栏，对吧，或者说是能够设定策略。
-
然后我觉得，你真正想说的是，好吧，虚拟机的每一个方面，就像我们今天所知、所爱的那样，都是在服务智能体，对吧？
-
而不是服务硬件和人类，对吧？
-
所以我觉得，这就会成为你这边最根本的设计约束。
-
我怎么才能让智能体变得出色，对吧？我怎么才能让它们安全？
-
我怎么才能让它们性能出色？
-
我怎么把它们抽象出来？怎么把它们迁移过去？
-
所有这些，你知道，都会有新的实现方式，你知道，就是给智能体用的 vMotion，对吧？
-
就好像这里的每一个，都会有它们对应的新形态。
-
但接下来我还得想，人类怎么来制定策略、描述章程，你知道，怎么拿到那些，你知道，仪表盘等等。我觉得这大概就是，你知道，有意思的地方，因为这两边你都得做，对吧？
-
不是只做其中一边，而是那个根本的，你知道，我会说，真正难的设计活儿，就像我们当年为，你知道，虚拟机做的那样，关键是给应用或操作系统用一种高性能的方式把硬件抽象出来。
-
而在这里，你知道，为智能体把硬件和运维抽象出来，是你正在服务的那个根本性的东西。
-
聊这个真的很棒，Pat，非常感谢你过来，我们下次再聊。
-
哎，你们俩是我最喜欢的人，随时都行。好，谢谢。刚才太棒了，谢谢。谢谢。