Fractile 创始人 Walter Goodwin 谈前沿 AI 推理芯片的押注
点播放，字幕跟着声音走
Subtitles follow the audio
逐句文字稿
点任意一句，从那里开始听
正在加载字幕…
-
现在我们在努力做一颗单芯片。
-
如果你拆开一台英伟达的系统，里面大概有六到九颗定制芯片，全都是英伟达自己做的，组合在一起构成一个非常非常强大的东西。
-
所以这里已经有个差距了，你知道，如果能做到足够高效，让我们也能用同样的方式开始搭建自己的响应，那就太好了。
-
这个想法就是，在任何时刻都能有一批不断滚动推进的前沿押注，你希望它们彼此深度契合，而且你随时准备好触发它们的放量，如果你能打造出这样一台机器、这样一台引擎，这就是巨大的优势。
-
这相当于芯片领域的前沿模型，只要你能找到办法，从结构上抠出三到六个月的优势，你就能赢下所有这些部署。
-
嗨，听众朋友们，欢迎回到NoPriors。
-
今天和我在一起的是Walter Goodwin，全栈AI芯片公司Fractile的创始人兼CEO。
-
我们聊了作为一家公司，“全栈”意味着什么，他们正在做的技术押注，他为什么如此专注于内存带宽，他对未来前沿模型架构的预测，以及当今和未来前沿芯片市场的格局——英伟达、AMD、各家内部自研项目，
-
还有这一类新型加速器。欢迎你，Walter。
-
Walter，非常感谢你来做这期节目。很高兴能来，Sarah。
-
你创办了这家非常有意思的公司，叫Fractal。
-
你能给我们大致介绍一下你们在做什么吗？
-
Fractal是一家芯片公司。
-
我们为世界上最大的模型打造非常非常快的推理芯片。
-
这种对速度的押注，是我们从一开始就有的。
-
公司是2022年夏天成立的。
-
我记得当时，我们开始看到两件事。
-
一件显然是基于互联网训练、能泛化到一切领域的基础模型的出现。
-
另一件是一些很有见地的人说，我们得想办法在测试时往这些模型里投入更多算力。
-
我们得想办法把当年AlphaGo那套东西——有一个能力很强的神经网络，然后当你大规模展开它时，它就变得超越人类——把这一套带到语言建模之类的领域里来。
-
所以过去四年我们一直在努力追求的，就是找到一种造芯片的方法，让这些超大模型能同时跑得比今天的芯片快得多得多，而且还要能规模化。
-
也就是说，能扩展到超越今天前沿的模型，能扩展到超长的上下文，这就是我们一直以来的使命。
-
从你创办公司到现在这四年，芯片这个领域的格局变得有意思多了。
-
在推理这块的GPU和加速器整体格局里，你把自己放在什么位置？
-
是啊，我觉得现在可选的东西简直是个五花八门的动物园了。
-
如果你看整个AI ASIC这个领域，我觉得特别显眼的一点是，市面上有很多芯片长得都差不多，像是一个模子刻出来的。
-
这其实是一种结构性的行业特征——如果你特别去看各大超大规模厂商的布局，Google十多年前用TPU开了这个头，你会看到这样一种范式：虽然有不少自研的内部芯片，你知道的，
-
Google有TPU，Meta有MTIA，微软有Maya，OpenAI现在有Jalapeno，这些芯片最终都是跟少数几家我们可以称之为ASIC代工方的公司合作开发和交付的，这些后端交付公司里最大的是博通，
-
一家两万亿美元的公司，帮人们把这些设计变成现实。
-
当你凑近看今天这个看似选择多到眼花缭乱的格局，你会发现这些平台之间其实有大量相似之处。
-
所有这些芯片都用HBM，就是英伟达GPU、AMD GPU以及所有其他ASIC都通用的那种DRAM内存。
-
大家在用张量核心做矩阵乘法上的押注是一样的，用台积电做先进封装也是一样的。
-
所以我觉得在这个格局里我们看到的一点是，真正沿着整个硅栈从上到下打通、去构建全新能力的尝试，相对来说还是很少。
-
而这是一种结构性的问题。
-
愿意从——你可以说是架构层、前端设计层，那基本上就是写代码——一路做到我们所说的物理设计、工艺技术，
-
做到跟晶圆厂的对接，做到那种基本上让你每周都得飞台湾或韩国的事情，这样的团队真的不多。
-
这部分实际上往往还是留给少数几家公司去做。
-
对不在芯片行业工作的人来说，专注架构的玩家和博通这样的玩家之间，常见的抽象分工或者说交接点是什么？嗯。
-
所以我觉得，假设你是Google，你在设计TPU，你团队里有一批人对他们要加速的工作负载有非常深刻的理解。
-
所以，你知道，回溯十多年前，就是在这个背景下，你会构想出张量核心这样的东西，
-
这是一个由架构师构想出来的专用电路，它在矩阵乘法上特别擅长，因为你有一个洞察：矩阵乘法占了你所运行这些模型里浮点运算量的绝大部分。
-
这大概算是架构师的专属领域吧，就是那种真正理解芯片行为方式的人，但最好也对目标工作负载有非常深入的理解。
-
然后你在这些同样的组织里会看到一批非常聪明的人，他们把这个往下落实，基本上就是落到电路层面的描述，说明这颗芯片应该怎么运作，而这里面很大一部分就是我们所说的前端设计。
-
从机制上看，它仍然像是在电脑上写代码，而且仍然是代码，然后交给像博通这样的玩家，所以你知道，那种描述芯片底层意图的前端设计，
-
芯片的底层逻辑，最终会被转化成，你知道，最后送到台积电去流片的东西，实际上就是一张位图。
-
我们有一种文件类型叫GDS2。
-
它实际上就是，我把金属层放在哪里？
-
我把每一个单独的晶体管放在哪里？
-
所以它是一个完整的版图。
-
然后你要经历这个过程，把那个RTL综合成一组电路，最终再完成布局。
-
那里面的很多复杂性在于，以博通的情况来说，就是拥有用于芯片间互连的模拟IP。
-
还有就是这种物理布局，它是针对台积电某个特定工艺节点定制的。
-
所以我们说的是三纳米、五纳米等等。
-
所以这一块今天仍然是这样。
-
一般来说，对所有这些项目而言，这都是一种外包出去的活动。
-
你描述的听起来是一个非常大的项目，要端到端地做全新的芯片创造。
-
从工作负载的角度，你在跟几家前沿玩家合作，去刻画它，确保你能服务好他们。
-
你是怎么考虑，比如Fractile团队今天是什么样子？
-
作为一家初创公司，你怎么能做到这一点？
-
嗯，我觉得有一个，你知道，挺有意思的是，有很多行业里做事会采用一种瀑布式的流程。
-
然后突然间，你知道，一种全新的思路就出现了。
-
这更像是借用管理哲学里的敏捷那一套，对吧。
-
我觉得对我们这样一家非常全栈的公司来说，我们有一支团队，覆盖了对工作负载非常深入的理解。
-
我觉得我们其实在很多地方都试着往前跑，去看我们在哪里可以改变模型架构，让它跟我们押的注更精准地对齐。
-
对于我们正在押的这些具体的注，我们认为的扩展定律向量是什么？
-
然后我们可以据此去说服我们的客户和合作伙伴。
-
这也帮我们形成一组关于芯片的判断，而这颗芯片不一定在一两年内就能量产。
-
这就成了我们必须练出来的那种能力里非常重要的一部分。
-
但当我们看这种能够快速转起一个非常敏捷的循环的能力时，这意味着在Fractile内部，我们有自己的前端设计人员，我们有自己的物理设计团队，我们有自己的后端实现团队，而且比如先进封装，我们也是自己做的。
-
而且这个人数并不算多，对吧？
-
我是说，这些领域每一个都是。
-
但它让我们能做到的是，拥有这样一个敏捷得多的闭环。
-
我觉得随着你去看这个行业所设定的那种节奏需求，这一点变得越来越不可或缺，你知道，那种常年追赶，追赶工作负载的尾巴，你知道，
-
在AI芯片这个领域，比起以往任何一种芯片玩法，你都必须更早地真正把注押对。
-
所以你得有很强的本事，也得有很多运气，然后你还得出手非常快。
-
所以这种把整个故事都放在公司内部的结构安排，跟以前那种、我猜可以说是几乎像有一个交接点的做法，是非常非常不一样的。
-
也就是说，你做到某个程度，然后就把活儿交给另一个合作伙伴。
-
而在某种程度上，你就得听凭那个合作伙伴接下来怎么做了。
-
你觉得公司做出的最重要的几个技术押注是什么？
-
对我们来说，我觉得，一个是方向。
-
四年半前，你显然正处在推理故事的核心，但我当时仍然觉得，我们是在教育世界什么叫推理。
-
在那之后大约两年里，今天的一些推理芯片，包括最近刚上市的那一款，在大约18个月前还是一款训练芯片。
-
你知道，当时大家真的在回避这个想法，就是这种小的、最终的边际成本，你知道，边际成本，我觉得有两层意思，对吧，它要么听起来像是一笔很小的成本，但实际上它的意思是，你每次部署这些模型都要付出的成本。
-
所以我觉得首先，就是我们共同押注会进入一个部署时代，还有对速度的押注，这真的在很大程度上影响了我们后来作为架构层面回应所做的很多事情。
-
在架构方面，我们经历了一段历程，我觉得是在公司成立的头两年左右。
-
我们在做一个有点像Grok或Cerberus的东西，做一款基于SRAM的芯片。
-
所以我们当时观察到，SRAM是一种超高带宽的内存。
-
它和你的逻辑电路在同一块硅片上，所以你的计算单元在运行这些模型做数学运算时，和比如说模型的权重或者模型展开时的KV缓存之间，就有极高的带宽。
-
而这就能让你在这些语言模型上跑到每秒数千个token。
-
但我觉得，我们在2023年底、当然还有2024年开始担心的一件事，是这种方案的可扩展性。
-
我觉得今天有两样东西随着AI一起增长。
-
一个显然是模型的参数，但另一个，也正是这个让我们对那种架构方案真正感到紧张，就是不断增长的上下文长度，它在我们看待这些模型如何展开的故事里变得越来越重要。
-
正是这一点，在过去几年里把我们带到了我们现在认为更令人兴奋的押注上，我想某种程度上是这样，就是与内存厂商以及我们的逻辑代工伙伴更紧密地合作，想办法以极高带宽访问更大容量的内存。
-
所以过去几年，我们一直在参与这类秘密项目，要摆脱SRAM，你知道，研究比如如何获得对DRAM内存高得多的带宽。
-
这对我们来说是一个非常令人兴奋的押注，因为它让我们现在能够搭建一个平台，明年下半年会逐步放量，它可以说把GPU上那种更大容量、更低成本的DRAM内存的可扩展性，
-
把TPU上的那种可扩展性，和Grok芯片或Cerberus芯片带来的所有速度优势结合在了一起。
-
我觉得我们认为这尤其关键的地方在于，如果你看看今天速度真正能改变局面的地方。
-
有一种说法是，这就是一个反应更快的聊天机器人。
-
但我觉得这就像亨利·福特当年提出那个反问：人们会说他们想要更快的马，而不是汽车。
-
反应更快的聊天机器人，差不多就是快速推理里的“更快的马”。
-
在我们看来，能把一个数万亿参数的模型轻松跑到每秒两万多个token，这本身就是AI能力的一次根本性跃升，具体就体现在把这些运行时间很长的智能体变得快得多。
-
所以今天这里就有一个很诱人的错配：我们现有的快速推理芯片，内存带宽超高，但容量低得离谱。
-
如果你去看它们今天实际是怎么被使用和部署的技术细节，它们根本跑不了长上下文注意力。
-
你还是得切回GPU来做这件事。
-
所以就出现了这种很诱人的错配：恰恰是我们几乎能够拿来把这些东西变得快得多的那个领域，我们偏偏又不具备那个技术能力。
-
所以某种意义上，这跟很多技术挑战一样，归根结底是一个有点平淡的技术观察，就是我们需要一种具备这种特殊而费劲特性的芯片，也就是到内存的带宽要极高，这样我们才能加载权重，
-
才能每秒成千上万次地加载这些状态，同时还得有经济的内存。
-
因为当你看看在数据中心规模下为成千上万用户跑推理是什么样子，经济账其实就归结为你所用内存的每GB成本。
-
所以这也是我们另一个关键重点，就是解锁这种全新的基础构件，也就是找到一条路，从世界上成本更低的DRAM内存里榨出极高的带宽。
-
你刚才说的几点，我觉得都不算主流共识。
-
第一，是你们自己去押注工作负载会往哪儿走；第二，是那种想法——你知道，传统做芯片的人可能觉得芯片是一年一代、或者比一年稍快一点地交付。
-
而大的架构变化，比这个节奏要慢。
-
但你在Fractile内部很有雄心地说过，你认为架构变化的速度、以及你们所做的技术押注的变化速度，可以比那快得多。
-
你能稍微谈谈，是什么能让这件事发生吗？
-
因为我觉得，人们对今天供应链的物理极限，比过去理解得更清楚了。
-
那么，这个行业能拥有什么样的灵活性呢？对。
-
我觉得这里面有个细微之处。
-
但在任何一个时刻，你对AI芯片的期望都是：你希望手里今天就有一款大规模量产的芯片，精准地瞄准你在意的那种工作负载。
-
可就算你有了那款芯片，六个月后你又会想要别的东西。
-
因为这些工作负载演进得非常快。
-
嗯，现在的情况是，我们大概每两周就会出一个新模型。所以没错。
-
所以，清醒的认识来自于横向看这些模型，然后说，好吧，这些模型有什么共同点。
-
而且还好，共同点足够多。
-
所以，你知道，情况一直是这样：一个新的大语言模型总是迫切地需要高出几个数量级的内存带宽，才能跑得更快；到今天依然如此，这些大语言模型往往还是自回归的，
-
生成文本时批次非常小，这背后又是吞吐效率、成本和模型服务速度之间那种根本性的权衡。
-
所以这些模型有一些统一的、迫切的需求，内存带宽就是其中之一。
-
但然后，就像你说的，也会有这些演进，尤其是如果你看开源中文模型的前沿，注意力机制的确切形态每隔几周就会变一次，什么算前沿、MoE的稀疏程度，
-
注意力本身的稀疏性。
-
而且，我们可能还会遇到更大的冲击，可能会有更根本性的转变。
-
所以我觉得这里有一种二元性，一边是物理世界和财务世界的限制，大概是这样。
-
另一边是这些工作负载的需求，它们基本上是以软件的节奏在变；虽然大家都很明确地希望能更快地推出新平台，但我觉得这方面也有一些根本性的制约。
-
所以在Fractile，我们对以AI为先、以及我们怎么做芯片设计感到非常兴奋。
-
我觉得，能够掌控整个端到端的全流程，真的让我们可以从根本上重新思考做事的方式。
-
如果你想想经典的计算机科学定律，比如阿姆达尔定律，就是我能并行化的部分都会变得非常非常快。
-
而我无法并行化的那部分则不会。
-
我觉得，当你身处一条很长的组织链条中时也是类似的：作为一个专注前端的芯片设计初创公司，你未必有压倒性的必要、或者说回报，去彻底改变自己的流程，
-
比如激进地采用AI，把原本可能12个月的前端设计工作缩短到很小的一部分，因为如果下一个环节仍然会有传统的瓶颈和传统的节奏，那这么做意义就不大。
-
而且我觉得在某种程度上，这些瓶颈永远都会存在。
-
我们和代工伙伴的晶圆制造周期都是一样的。
-
所以从你把芯片交给他们，到拿回来，你知道，即使是那种加急批次，也要三到五个月。
-
所以这些算是这个行业里固有的延迟吧。
-
然后当你拿回那颗芯片的时候，我觉得很关键的一点是要看这些芯片实际上是怎么变成能赚钱的东西的，也就是说它们其实有一个回本周期。
-
你得给那颗芯片一个三到五年的摊销窗口，这样它在财务上才算是一个合理的决定。
-
所以就有这么两件事在相互拉扯，而我自己大概同时相信两个稍微有点矛盾的观点。
-
一个是，能够把整个芯片设计周期压缩、再压缩，这本身有巨大的价值。
-
但我也觉得，我们不能丢掉的是，在架构上做出真正深思熟虑、细致入微的押注，因为最终做出来的那颗芯片，仍然得有三年的使用寿命，你知道，得能用三年以上。
-
所以对我来说，随着时间推移能压缩芯片设计周期，本质上意味着你能有更多次射门的机会。
-
你要永远准备好，拿定一个旗舰平台，然后说，对，就它了。
-
这才是真正的旗舰。
-
这才是我们要放量生产的那一款。
-
但接下来是12个月、18个月的放量爬坡，而且你指望它能长期存活。
-
你指望它真的能持续为你的客户创造价值。
-
所以我觉得这里的微妙之处在于，我并不相信我们最终会走到那种每隔几周就出货一款全新芯片的地步，仅仅因为我们把那个周期缩短了。
-
因为我觉得这是一个物理世界。
-
数据中心的电力是有一定限制的。
-
安装这些东西是有延迟的，而且你得为底下那块硅融资，所以它必须有那个回本周期。
-
但我觉得你能达到的是这样一种状态：你能把那个延迟、把从观察到真正在量上兑现那个押注之间的差距缩得越短，那里就有巨大的价值可以捕获。
-
而且我觉得这也是一个领域，你知道，Fractile是……
-
哪怕只是因为你对放量什么做出的决定是正确的。没错。
-
我觉得你想成为，而且也许你还能同时有更多条线在推进。
-
我觉得AI能力提升让人特别兴奋的一点是，随着我们做事越来越高效，整个经济里通常会有两种反应。
-
一种是，哎呀糟了，我们要做的事会变少，可能会有人失业。
-
另一种是，我们能做更多的事。我觉得，你知道，站在Fractile的角度，现在我们是在努力做一颗芯片。
-
我们知道面对的竞争对手，你知道，你要是拆开一套Nvidia系统，里面大概有六到九颗Nvidia自己做的定制芯片，组合在一起做出一个非常非常强的东西。
-
所以那里已经有一个差距了。
-
你知道，要是我们能高效到也开始用同样的方式构建我们自己的系统和响应，那就太好了。
-
嗯，所以我觉得这个想法——在任何时刻都能有一个滚动推进的押注前沿，你希望这些押注深度对齐，而且你随时准备好触发放量——如果你能打造出那台机器、那个引擎，那是一个巨大的优势，而它可能由此
-
常年给你带来对竞争对手的六个月领先，嗯，这就是那种，你知道，让你能切入进去的楔子，我们在前沿实验室身上也看到这一点，对吧？
-
这相当于芯片领域的前沿模型，就是如果你能想办法从结构上凿出三到六个月的领先优势，你就会赢下所有这些部署。
-
这里面有个梗，就是CEO们说，哇，这AI东西真棒，我们把组织架构设计成能消化它的样子。
-
不是一个项目，我们要搞六个，伙计们。然后大家欢呼。对，我觉得这里面有点道理。
-
我跟三大半导体公司之一的CEO聊过，他不让我把这个预测真的播出去，但我问他，大概多久能实现从首席架构师的意图直接到一个完全可用的GDS2文件，他说，十年。
-
现在不会发生。
-
你怎么看这个，或者你觉得在你的组织里影响会先出现在哪里？
-
过去几年一直有效的一个启发式方法是，永远质疑你那种逻辑假设，然后在时间尺度上除以四。
-
所以确实存在一种可能，十年对那件事来说看起来是个很合理的时间框架，但我会把它除以四，可能还会再减一点。
-
我觉得我们会进入一个阶段，在未来几年里有一种端到端的原型设计。
-
我觉得芯片设计很有意思的一点是，中间仍然有这些环节，它们本质上是用常规方法解决NP难问题。
-
所以你有这些，如果你真的想输出那个GDS2文件，今天你仍然要跑一堆布局工具，它们用常规的算法方法做布局布线，一跑就是好几天。
-
你知道，我觉得这是我们看到的一件非常有意思的事，而且其实把它稍微拉回到我们也很兴奋的那类工作负载上，世界上很多难题我觉得都有点像这样，有很多思考现在可以被自动化了。
-
有很多脑力工作，但也有一些，你知道，你所做的事情本身固有的延迟。
-
我觉得我们今天在AI引导AI模型开发这件事上就看到了这一点，也就是RSI的工作。
-
是的，我们现在可以有极强的智能来指导我们的实验，但现在我们只是被实验卡住了脖子。
-
我们被计算时间卡住了脖子。
-
我觉得在芯片设计上，情况有点类似。
-
也许回到把架构师的意图带到GDS2这个问题上，它有点像是RSI那个问题，但真正会阻止我们极快到达那里的，是在那个流程里，
-
有很多事情本质上是以更传统的方式真正计算昂贵的。
-
我觉得对于所有这些类型的问题，我们大体上会看到，它们不会被替代模型取代。
-
嗯，我觉得肯定有这类仿真模型，我觉得是驱动近似，我们今天看到的所有用于有限元分析和热估计等等的模型，
-
我觉得这类工作会有巨大的回报，恰恰是因为这种阿姆达尔定律，随着我们加速智能，随着我们加速这些实验之间、这些试验之间的周期，加速那些试验也变得重要得多。
-
我们在内部研究那些算法的一些核心部分到底是什么，以及有没有一种粗略的近似方法可以做一些这样的事情？
-
你知道，我觉得芯片设计在最终签核方面相当长一段时间内不会改变。
-
有Cadence和Synopsys这些跟台积电和其他代工厂合作了几十年的公司来构建那种，你知道，最终的勾选标记，说这个东西是我们所谓的DRC和LVS干净的，这非常有价值。
-
它符合那个代工厂设定的规则。
-
那实际上正是，你知道，那种工作价值极大的地方。
-
但与此同时，你能不能有一种模糊的布局算法，让你几乎一路走到最终设计？它帮你迭代得更快。它帮你迭代得更快。
-
你知道，我觉得那正是人们应该做更多工作的地方，因为否则那就是瓶颈。
-
另一部分，我觉得对AI实验的RSI来说也是如此，就是随着我们确实变得，你知道，随着我们在思考上的智能水平推动那个实验，越来越高。
-
而随着那个实验因此成为瓶颈，我觉得我们会做更多的思考。
-
而这总体上就是Fractal对工作负载的押注。
-
这就是我们对难题如此兴奋的原因。
-
这也正是我们把Fractal看作能带我们加速解决各种难题的芯片的原因，我觉得这几乎成了一种道德上的责任，就是在你启动每一个实验之前都要更深入地思考。
-
我记得可能是Baron Millage最近在Dwarke's节目上说过，也许你应该先思考一百年再启动一个实验，然后用这些模型以人类等效的方式再思考一百年，去思考那个AI实验的结果，因为中间那个实验相当
-
昂贵，而且要花一定的实际时间。
-
所以我觉得在芯片设计这类事情上你也会遇到同样的情况，对于那些更传统的算法来说，存在这种根本性的实际时间瓶颈。
-
在我们去放置某个电路之前，我们会生成大量的推理token。
-
你们在对工作负载下注，然后跟设计伙伴紧密合作，希望能在模型架构转变上稍微提前一点，这样你们才能真正做一些规划。你看到了什么？
-
当然，我们做的最大的事情就是这种速度上的追逐，最大化内存带宽，以便能够更快地运行这些模型。
-
我觉得作为一家芯片公司，你必须跨越的一个二元性，就是要打造一个在即将到来的各种工作负载上都异常出色的东西，这背后是硬件彩票这个理念，也就是这些模型会在基于HBM的GPU上训练。
-
所以很好的是，这就成了那颗特别擅长把今天这种极其激进的MOE transformer跑得更快、更高效的芯片。
-
但我觉得，打造具有根本性新能力的芯片之所以令人兴奋，是因为你随后还能去探索，是否因为那些特性，存在某种引力，让你自己能够拉动新的模型格局。
-
所以对Fractile来说，这个每颗芯片带宽是基于HBM的芯片的25倍的想法，让我们能够在内部去探索，比如说，这种带宽的缩放定律之类的想法。
-
缩放定律，传统上我们把它想成flop缩放定律。
-
我们在训练时和测试时往这些模型里灌入越多flop，性能就越来越好。
-
而如果你看看今天已知的想法版图，我们已经能看到一些带宽的缩放定律。
-
一个是这些混合专家模型。
-
众所周知，实际上理想情况下我们会把它们做得越来越稀疏。
-
所以对于同等智能来说，如果你把MOE从16分之一稀疏变成128分之一、256分之一，你会省下大量的flop。
-
但这么做的一个挑战、一个逆风，实际上是在今天基于HBM的GPU、XPU上，要高效地服务那些模型会变得极其困难。
-
你最终往往会受限于带宽。
-
结果就是你的MFU非常非常低，算力利用率很低。
-
所以就有这些领域，即使你是在为今天的世界做设计，你也能看到哪里可以解锁更强的能力。
-
而用今天的大语言模型，其实在注意力机制上也非常类似。
-
有些形式的注意力对带宽的需求没那么高。
-
但要达到某个智能水平，它们往往更吃算力。
-
我觉得我们比较兴奋的一点是，当我们把内存带宽这个另一个特性、这个属性提上来——它最近在芯片上其实没怎么被扩展过。
-
过去二十年我们把算力扩展了大概一百万倍。
-
而同一时期，内存带宽只涨了大约40倍。
-
当你把这条前沿推上去，你就能省下更多另一样东西。
-
我们就能减少在这些模型上为了达到某个智能水平所用的算力。
-
所以这对这些模型的整体吞吐量来说，差不多是个倍增的因子。
-
我忍住不问你这个会不会改变人们对现在该怎么训练的想法。
-
最后一个问题，就关于这里的市场结构。
-
五年之后，一个大型AI玩家或者超大规模云厂商会买什么芯片，我实在看不太清楚——是在英伟达和AMD这些公司之间，还是新的加速器类别，
-
而且这些玩家中至少有四家都有自己的内部项目。
-
你怎么看这件事？
-
我觉得今天我们看到的情况是，真正在大规模部署的每一家，都在尽量部署尽可能多的独立平台。
-
我认为有一点会一直成立：当算力对这类玩家变得如此生死攸关时，确实会需要供应来源的多样化。
-
今天有个半开玩笑的说法，说那些自研项目的主要目的，就是压低大家买英伟达要付的价格。
-
这里面可能也有几分道理，因为那些项目在架构上其实相当相似，对吧？
-
所以这是一个赌注，赌的不是去实现那些其他芯片实现不了的根本性能力。
-
所以我觉得这里面就是那种博弈：我们能不能在这边自己搞一些，或者我能不能从AMD买点东西，这样也许就能从英伟达拿到更好的价格，等等，同时也是为了聚合产能和争取一点控制权。
-
我觉得随着你看到这转向真正能带来新能力的芯片，那正是我突然看到我们做的事情有真正需求的地方，对所有想在前沿部署AI的人来说都是如此。
-
他们必须得有某种方案，让这些模型跑起来快上几个数量级。
-
你知道，对前沿实验室来说，有这么一扇窗口，就是那种顶级能力、顶级智能，那正是他们存在的全部理由，否则我们大家就一直在用Kimi的模型了。
-
所以当你确实面临来自开源的后方压力时，对那些想在前沿部署的人来说，把这件事的每一个方面都做到位，显然就变得更加重要了。
-
所以既要最好的模型权重，也要最快的部署，这样你才能在最短的时间里做最多的推理。
-
所以我觉得芯片领域这种高端的一端，也就是你为了速度而牺牲其他一切的优化方向，会成为这个世界里非常重要的一部分。
-
我觉得有一点很值得注意，就是芯片供应商和前沿实验室之间的那种动态关系。
-
你知道，如果你看Fractile，我们尽量做到和前沿的需求尽可能对齐。
-
我们也尽量让自己看起来有点像那些团队。
-
我们有真正深入思考这些工作负载的人，等等。
-
所以，我觉得我们有时候需要说明的一点，就是解释为什么我们相信在几十年里，世界上会一直存在某种前沿的第三方芯片玩家。
-
为什么这件事不会就全都并进那些实验室里去？
-
我觉得这归结于所有这些实验室和前沿玩家都必须玩的那种不对称博弈，他们如果全押在某个硬件赌注上，就要承担巨大的风险。
-
假设我是，你知道，我是实验室一号，我全押在了某种自研芯片上，然后实验室二号发现了某种新的计算突破，在同等智能水平下带来了好得多的计算效率，但它只能在人家决定部署的那款芯片上跑。
-
我可能在我部署足够多那款芯片之前就死掉了，而那款芯片本来能让我也获得那种5倍的计算效率提升。
-
所以这些芯片确实迫切需要大家部署同样的，这些公司彼此部署同样的平台。
-
他们在玩不同的游戏，对吧？
-
他们现在想在模型上竞争，而我觉得对芯片玩家来说，押注深度差异化的方向并全押上去，对任何在前沿玩的人来说都是种不理性而且非常危险的举动。
-
好，我觉得这是个很好的收尾。非常感谢你，Walter。非常感谢你，Sarah。
-
在Twitter上关注我们，账号是NoPriorsPod，如果你想看我们的脸，就订阅我们的YouTube频道，在Apple Podcasts、Spotify或你收听节目的任何平台上关注本节目。
-
这样你每周都能收到一期新节目。
-
还可以在no-priors.com注册邮件订阅，或者找到每一期的文字稿。