又一次巨大飞跃：Rubin CPX 专用加速器与机架
新型预填充专用 GPU、机架架构、物料清单、解耦电源、更高每 TCO 性能、更低 TCO、GDDR7 与 HBM 市场趋势
Nvidia 发布了 Rubin CPX，这是一款专门针对预填充阶段进行优化的解决方案，单芯片 Rubin CPX 在计算 FLOPS 上远重于内存带宽。这对推理而言是一个游戏规则改变者，其重要性仅次于 2024 年 3 月发布的 GB200 NVL72 Oberon 机架级形态。只有针对推理的预填充和解码这两个截然不同的阶段进行硬件专用化，解耦服务才能充分发挥其潜力。
因此，Nvidia 与其竞争对手在机架系统设计上的差距已变得如鸿沟般巨大。AMD 和定制芯片竞争对手在模仿 Nvidia 的 72-GPU 机架级设计方面可能迈出了一小步，但 Nvidia 刚刚又实现了一次巨大飞跃，再次将竞争对手远远甩在身后。
AMD 和 ASIC 供应商已经在大力投资，以追赶自己的机架级解决方案。特别是 AMD，一直在不懈努力改进其软件栈，试图缩小与 Nvidia 的差距，但现在所有人都需要再次加倍投资，因为他们必须开发自己的预填充芯片，这将进一步推迟他们缩小差距的时间。随着这一发布，Nvidia 的所有竞争对手都将被迫回到绘图板，重新配置他们的整个路线图，这重复了 Oberon 如何改变整个行业路线图的情况。
Rubin CPX
由于推理过程中的预填充阶段往往大量使用计算（FLOPS），而仅轻度使用内存带宽，因此在配备大量昂贵且具有极高内存带宽的 HBM 的芯片上运行预填充是一种浪费。解决方案是一款内存带宽较窄而计算能力相对较强的芯片。Rubin CPX GPU 应运而生。
Rubin CPX 具有 20 PFLOPS 的 FP4 密集计算能力，但内存带宽仅为 2TB/s。它还配备了 128GB 的 GDDR7 内存，与 VR200 相比，内存容量更小且成本更低。相比之下，双芯片 R200 提供 33.3 PFLOPS 的 FP4 密集计算能力和 288GB 的 HBM，内存带宽为 20.5 TB/s。
Rubin CPX 的推出将 VR200 系列机架级服务器扩展为三种类型：
VR200 NVL144：18 个计算托盘上共 72 个 GPU 封装，每个计算托盘中有 4 个 R200 GPU 封装。
VR200 NVL144 CPX：18 个计算托盘上共 72 个逻辑 GPU 封装和 144 个 Rubin CPX GPU 封装，每个计算托盘中有 4 个 R200 GPU 封装和 8 个 Rubin CPX GPU 封装。
Vera Rubin CPX 双机架：两个独立的机架——一个 VR200 NVL144 机架加一个 VR CPX 机架，后者在 18 个计算托盘上共有 144 个 Rubin CPX GPU，每个计算托盘中有 8 个 Rubin CPX GPU。
在本报告中，我们将首先解释迄今为止的故事以及 Rubin CPX 开发的动因，即内存推理预填充和解码阶段的不同作用。然后，我们将深入探讨 Rubin CPX 芯片的架构及其部署的机架级解决方案。接着，我们将从过去和现在转向未来，讨论解耦推理服务的未来前景，以及今天的发布如何影响其他商业加速器供应商和定制芯片项目的未来路线图和竞争力。在最后一部分
本文的这一部分，我们将简要介绍机架的关键物料清单（BoM）项目，并按主要组件组进行功耗预算分析。
内存：迄今为止的故事
内存墙一直是人工智能最重要的制约因素。更大的内存容量对于将更大的模型加载到加速器中是必要的，而内存带宽则是推理和训练令牌吞吐量的主要瓶颈。这就是为什么每个GPU的高带宽内存（HBM）容量和带宽迅速增加——从H100的80GB和3.4TB/s到GB300的288GB和8.0TB/s，在不到三年的时间里，内存容量增加了两倍多，带宽增加了约2.5倍。
因此，从Hopper到Blackwell，HBM在加速器BoM中的占比持续增加，现在HBM是GB300封装BoM中最大的单一组件。HBM对于训练和推理都非常有价值，但当我们将推理分解为预填充和解码步骤时，HBM仅对解码步骤具有高价值。在计算密集型的预填充过程中，由于预填充的并行特性，KVCache的生成对带宽的需求要低得多，因此在此步骤中HBM未被充分利用。
与其他形式的DRAM相比，HBM因其额外的带宽而价格昂贵，当这种带宽未被充分利用时，HBM就被“浪费”了。HBM在BoM中占比不断上升，构成了另一道“墙”，这也是开发Rubin CPX GPU的推动力。
现在我们已经简要探讨了内存迄今为止所扮演的角色，让我们转向今天的公告，详细探讨Rubin CPX的架构及其部署的机架级服务器。
带宽与计算差异
每个Rubin CPX芯片将是一个单片SoC，采用传统的倒装芯片BGA封装。Rubin CPX将配备128GB的GDDR7 DRAM，而不是HBM。从HBM切换到更便宜的GDDR7内存，每GB成本降低超过50%。
内存速度可能为32Gbps，总线宽度为512位。这导致每个Rubin CPX的内存带宽为2TB/s，而每个R200的内存带宽为20.5TB/s。值得注意的是，在此次主题演讲中，Nvidia还确认了常规Rubin的显著带宽升级。R200的HBM4速度已显著提升至10Gbps，以实现每个R200 20.5TB/s的内存带宽，正如我们之前在加速器和HBM模型中讨论的那样。相比之下，R200最初发布时“仅”具有6.4Gbps速度等级下的13TB/s内存带宽规格。我们也在模型中讨论并量化了对HBM供应商的影响。144个CPX芯片（每个提供2.0TB/s内存带宽）和72个R200芯片（每个提供20.5TB/s内存带宽）将共同提供1.7PB/s的系统总内存带宽。
在计算方面，每个CPX提供30 PFLOPs的稀疏FP4计算吞吐量（20 PFLOPs密集），而R200为50 PFLOPs稀疏FP4（33.3 PFLOPs密集）。Rubin CPX的密集PFLOPs遵循与R200相同的3:2稀疏与密集比率，因为它继承了与Rubin R200类似的张量核心架构。CPX在单个计算芯片上提供了非常强大的FP4计算吞吐量，而R200则有两个芯片。这些提升可能来自于减少高精度计算单元以增加更多FP4 ALU。这与B300上实现的方式相同，即在保持相同工艺的情况下获得比B200更高的FP4吞吐量。
me 4NP节点。
然而，一如既往，理论峰值FLOPs在实践中极难达到。与英伟达其他受功耗限制的GPU一样，考虑到我们估计其额定功率仅为800W左右，Rubin CPX很难维持接近峰值FLOPs的性能：我们认为突破1W/mm²的功率密度不可行，尤其是在电路板采用夹层形态集成的情况下（下文将详述）。
另一个不同之处在于网络。没有用于扩展的NVLink SerDes，Rubin CPX转而依赖PCIe Gen 6通过扩展网络上的CX-9 NIC与其他GPU通信。这种降低的网络能力通过实现流水线并行（下文讨论）是完全可行的。
由于总硅含量更低且内存更便宜，Rubin CPX的生产成本远低于R200。降低总内存容量并使用成本更低的GDDR7意味着内存成本降低5倍。芯片架构也简单得多，因为避免了HBM，且仅有一个掩模版尺寸的裸片，没有I/O小芯片，因此无需CoWoS封装。从角度来看，Rubin CPX的设计类似于下一代RTX 5090或RTX PRO 6000 Blackwell，两者都使用具有512位宽GDDR7内存接口的大型单片裸片。由于这些芯片基于消费级Blackwell GPU裸片，其FLOPs仅为支持HBM的大哥B200的20%。而Rubin CPX的这一比例跃升至60%，因为它将是一个独立的流片，更接近R200计算裸片。作为实现每单位成本最大FLOPs的实践——Rubin CPX无与伦比。
在文章后面，我们将分解Rubin CPX的BOM优势，并估算通过将预填充从R200迁移到Rubin CPX可以节省多少成本。
英伟达Oberon机架架构升级：VR NVL144 CPX、VR NVL144、VR CPX
现在让我们走出Rubin CPX芯片，进入将承载CPX的两款新的Vera Rubin机架。
去年3月，在GTC 2024上，英伟达展示了其Oberon架构的第一代产品：GB200 NVL72。一年半后，第二代Oberon——GB300 NVL72即将量产。两代之间的设计变更和升级非常少。第三代Oberon架构——Vera Rubin（VR）是Ian今天在AI基础设施峰会上演讲的重点。VR将于2026年推出，距离Oberon机架形态因子的首次亮相不到三年，它将从GB200/GB300进行重大的设计变更和升级。
Vera Rubin Oberon将Oberon架构的功率密度推向了极限，需要大幅升级功率传输内容并改变冷却解决方案的设计。选择无电缆设计是为了克服GB200/GB300组件中飞线电缆布线的困难以及托盘内电缆带来的可靠性挑战。连接OSFP笼到ConnectX NIC的电缆已被移除。从PCIe到前端Bluefield DPU以及本地NVMe存储的电缆以及其他边带电缆也已被移除。
Vera Rubin中的关键变更和升级集中在以下三款Vera Rubin（VR）计算托盘SKU的改造上：
VR NVL144（仅Rubin）
VR CPX（仅Rubin CPX）
VR NVL144 CPX（同一托盘中的Rubin + Rubin CPX）
这三种计算托盘类型是构建
g 针对所讨论的三种机架解决方案的模块：
VR NVL144
VR NVL144 CPX
VR NVL144 + VR CPX（双机架）
首先介绍的机架是 VR NVL144 CPX。这与 VR NVL144 类似，不同之处在于，对于 VR NVL144 CPX，在 18 个计算托盘中的每一个中，除了 4 个 R200 GPU 和 2 个 Vera CPU 之外，每个计算托盘现在还有 8 个 Rubin CPX GPU。
VR NVL144 CPX 机架也将采用液冷——但功耗预算要高得多，约为 370kW，而 VR NVL144 约为 190kW。
另一种部署选项是 Vera Rubin CPX 双机架。顾名思义，该解决方案允许已部署 VR NVL144 机架的客户随后在其数据中心添加 VR CPX 机架，从而为解耦的 PD 推理提供专用硬件。VR CPX 不通过 NVLink 连接，因此 VR CPX 机架不包含 NVSwitch 托盘。VR CPX 机架通过横向扩展的 InfiniBand 或以太网网络连接到集群，并且可以在方便的位置随后添加到集群中——它不需要与 VR NVL144 物理相邻。
与 VR NVL144 CPX 相比，双机架解决方案提供了更大的灵活性，因为客户可以根据自己的喜好设计预填充与解码的比例。此外，并非所有客户的数据中心基础设施都能承受约 370kW 的 VR NVL144 CPX。而且，与单机架变体相比，故障影响范围更小。
在下表中，我们可以看到每个计算托盘内塞入了多少计算和网络内容——每个计算托盘共有 22 个 Nvidia 芯片（其中 14 个是 XPU），即每个 VR NVL144 CPX 机架有 396 个芯片。为了将上述所有内容塞入单个计算托盘，Nvidia 采用了无电缆模块化设计，并重新设计了计算托盘内的冷却回路。
NVL144 CPX 将保持与 GB200/GB300 类似的计算板设置，用于计算托盘机箱的后半部分。显著的区别在于，对于 CPU 运行的内存，采用了可插拔的 SOCAMM DRAM 模块，而不是焊接的 LPDDR5X。VR NVL144 CPX 与 GB200/GB300 之间的大部分差异在于机箱前半部分，位于主机处理器主板（“HPM”）计算板下方，该板在 Blackwell 代中也被称为“Bianca”板。
在前部，VR NVL144 CPX 设计采用模块化结构，由 7 个子卡模块组成。
四个子卡模块放置在机箱两侧。每侧有两个子卡上下堆叠。这四个子卡各包含两个 800G CX-9 NIC、一个 1.6T OSFP 笼、一个 E1.S SSD NVMe 模块和两个 Rubin CPX。
机箱中间的一个子卡（下图的下部中心）容纳 Bluefield-4 模块，该模块包含一个 Grace CPU 和一个 CX-9 NIC。
堆叠在此 Bluefield-4 模块顶部的一个子卡容纳电源传输板（PDB）。PDB 负责将电源从 48-54V 降压至 12-13.5V，因为电源从后部的母线连接器进入机箱。
最后一个子卡要小得多，位于 Bluefield-4 模块的右侧。它更薄，容纳了实用管理模块，包含 BMC、HMC、DC-SCM 和管理 I/O 等组件。
我们估计 Rubin CPX 芯片的 TDP 约为 800W，但考虑到包含 GDDR7 内存的整个模块，总功耗升至 880W。为了冷却计算托盘前部的 7,040W Rubin CPX 模块，机箱前部的冷却必须从风冷升级为液冷。
为此，NVIDIA 重新采用了其 2009 年 GTX 295 的设计。Rubin CPX 和 CX9 子卡采用夹层设计，中间共享一个液冷冷板。
在 PCB 的外侧，热管和均热板将每个夹层 GDDR7 内存模块背面的热量传递到主冷板。通过充分利用 1U 机箱高度并使用冷板两侧，将容纳这些 GPU 所需的计算托盘面积减半，从而实现最大密度。
VR NVL144 CPX 的另一个关键设计变化是采用无电缆设计。正如我们在 PCB 超级周期核心研究以及最近关于安费诺 AI 内容的核心研究中所讨论的，这种设计有两个原因。首先，飞线电缆存在多个故障点，因为在组装过程中容易损坏。其次，VR NVL144 CPX 的高密度设计没有空间布线。
那么，没有电缆，信号如何传输？答案很简单：来自 HPM（Bianca）板的信号通过安费诺的 Paladin 板对板连接器离开电路板。这在我们最近关于安费诺 AI 内容的文章中有更详细的讨论。然后信号通过位于机箱中间的 PCB 背板进行路由。在 PCB 背板的另一侧，子卡通过另一组 Paladin B2B 连接器连接到 PCB 背板。
为了适应这种无电缆设计，HPM（Bianca）板上部的 CX-9 NIC 从机箱后半部分移至前半部分，如下图所示。对于 GB200/GB300，GPU/CPU 与 CX-7/8 之间的 PCIe 信号距离短于 CX-7/8 与 OSFP 笼之间的以太网/InfiniBand 信号距离。
以前——必须将 200G 以太网/InfiniBand 信号从计算托盘后部的 NIC 传输到计算托盘前部的 OSFP 笼，这需要使用飞线电缆，因为每通道 200Gbit/s（单向）的 PCB 信号损耗过高。
但现在 NIC 更靠近 OSFP 笼，较低速率的每通道 PCIe Gen6 信号（每通道 64Gbit/s 单向）传输更长的距离，并且这种连接现在可以通过 PCB 进行路由。尽管在 PCB 上驱动 PCIe Gen6 信号仍然具有挑战性，但通过升级 PCB 材料仍然可以实现良好的信号完整性。
为了便于维护，子卡也设计为模块化。每个子卡模块可以滑入和滑出子卡模块插槽。在计算托盘内，为此设计了内部导轨套件。
下面我们展示了不同 Vera Rubin 计算托盘 SKU 中的信号路由方式以及 VR Rubin SKU 的计算托盘拓扑。这些图的一个亮点是 CX-9 在实现 Rubin CPX 和扩展连接方面发挥着关键作用，因为它也是一个集成的 PCIe 交换机。
巨大飞跃：分离式服务
今天发布的 Rubin CPX 是推理领域的游戏规则改变者，其重要性仅次于首次发布的 GB200 NVL72 Oberon 机架级形态。只有针对推理的不同阶段（预填充和解码）进行专门定制的硬件，才能真正实现分离式服务。
在本节中，我们将解释从传统服务的演变过程
从使用统一硬件的分离式推理开始，最后分析使用专用硬件的分离式推理。我们将展示使用统一硬件的分离式推理会造成多少浪费。一旦专用推理硬件变得普及，使用统一硬件就像买一台手提钻来拍死一只虫子。
正如我们在本文前面提到的，Rubin CPX的发布将迫使Nvidia的竞争对手回到绘图板重新规划他们的路线图。如果不发布自己的预填充专用芯片，就意味着让客户背负低效的系统，这将保证那些客户在代币经济市场中失败。
服务LLM请求涉及两个阶段：预填充阶段和解码阶段。在预填充阶段，LLM从用户提示生成第一个token。这个阶段影响首token时间（TTFT），通常是计算密集型的，内存带宽利用率不足。另一方面，解码阶段在从KV缓存加载先前token的同时生成新token。这个阶段影响每输出token时间（TPOT），始终是内存密集型的，计算利用率不足。
在下图中，我们看到了一个说明性示例，突出了在同一系统上进行预填充和解码时内存带宽与FLOPS利用率之间的权衡。预填充单个token所需的FLOPS与输入序列长度成线性关系。解码所需的FLOPS也与系统上的用户数（即批大小）和序列长度成比例。
短的输入序列长度可能无法完全饱和推理系统上可用的FLOPS，在这种情况下，系统的输出将受限于参数加载到芯片内存的速度——这是内存带宽的函数。然而，随着输入序列长度的增加，工作负载最终会增长到使用推理系统上所有可用的FLOPS，工作负载将受限于系统总FLOPS。在下图的右半部分，我们说明当序列长度超过32k时，FLOPS利用率达到100%，而内存带宽利用率下降。
因此，我们可以看到，当一个节点执行非常重的预填充工作负载——长序列长度或大批量时，内存带宽未被利用。正如上一节所述，随着过去几年芯片BOM中用于内存的比例不断增加，这最终导致非常昂贵的资源利用不足！
低效率还源于预填充和解码阶段的工作负载特性本质上是如此不同，以至于当它们同时处理时，预填充和解码请求总是会相互干扰性能。有许多优化尝试平衡两者——例如添加预填充计算来决定确保请求长度大致均匀以提高利用率，但它们总是带来权衡。另一种方法是完全分离预填充和解码阶段，但如果你优先考虑解码阶段，那么你的预填充将需要等待——导致首token时间变长。相反，如果你优先考虑预填充，你的解码阶段将被迫等待，并且token间延迟会变慢，因为内存带宽随后未被充分利用。
初步步骤：使用相同硬件的分离式预填充和解码
第一阶
解决方案是实现分离式服务，首先通过将预填充和解码请求路由到不同的计算单元来解决干扰问题，从而更容易分析性能。这样做的好处是能够更好地管理服务等级协议（SLA），这些协议通常关注一定的 token/s/用户水平。然而，存在一些注意事项。这种完全分离似乎仅在特定的输入/输出序列长度比和较长的解码长度下才能提供出色的结果，而在其他场景下收益并不显著。此外，这种分离仍然存在“错误规模”问题，即纯预填充操作几乎总是严重未充分利用内存带宽。
在下面的示例中，我们展示了 R200 在仅用于预填充时几乎无法充分利用其内存带宽。随着序列长度增加并更有效地利用可用 FLOPS，内存带宽利用率变得越来越低——实际上浪费了非常昂贵的 HBM 内存。
下一步：在专用硬件上分离预填充和解码——Rubin CPX 登场
由于预填充本质上会未充分利用内存带宽资源，减少浪费的一种方法是减少内存的数量和成本。这正是 Rubin CPX 采用的方法，它使用数量更少、成本更低的 GDDR7 内存。
在下面的示例中，我们展示了 R200 在仅用于预填充时几乎无法充分利用其内存带宽。相比之下，Rubin CPX 在相当短的输入长度下实际上利用了更高比例的内存带宽，然后在我们认为典型的输入长度下进一步下降。
确实，我们强调这并非为了效率而效率——而且对利润有巨大影响！在下表中，我们提供了一个示例来比较 R200 GPU 和 Rubin CPX GPU 的内存带宽利用率。在这种情况下，两者都遭受非常低的内存带宽利用率，但区别在于 Rubin CPX GPU 至少留下了更少数量、更便宜的内存。对于 R200——我们看到，与 CPX 上运行的完全相同的预填充工作负载导致每小时 0.90 美元的总拥有成本浪费！
Rubin CPX 带来了更多内存容量，但这些比特是“较低质量”的，因为它们是 GDDR7，每 GB 成本不到 HBM 的一半。从内存供应商的角度来看，GDDR7 的利润率较低，因为它是一种技术要求较低的产品，竞争更激烈（例如三星可以供应）。
这意味着使用 CPX 系统降低了 HBM 在总系统内容中的份额。对于在 VR200 NVL144 CPX 或 VR CPX 机架上花费的每一美元，与在独立 VR200 NVL144 机架上花费相同美元相比，花在 HBM 上的份额更低。在其他条件相同的情况下，假设在 AI 系统上花费固定金额，每美元花费的 HBM 需求将下降。
为什么不进一步减少内存？
许多读者无疑对减少 HBM 支出的想法垂涎欲滴，并思考：为什么不进一步减少系统中的内存量？如果典型的预填充序列长度意味着内存利用率仅为较低的两位数甚至个位数——为什么不将内存容量减少到十分之一？这是否意味着 HBM 需求和整体内存需求的末日？
然而，技术并非如此简单。Rubin CPX 所做的是重新
降低预填充和令牌的成本。令牌成本降低会增加需求，这意味着对解码的需求也会增加。与许多其他降低成本的科技创新一样，需求的增长通常足以抵消成本的下降，最终使总市场规模以美元计变得更大。
这种GDDR7需求还会带来额外的供应链影响。RTX Pro 6000也使用GDDR7，但速度较低，为28Gbps。英伟达已为RTX Pro SKU下了大量供应链订单，原计划是在H20出口许可证重新发放之前，将其作为H20的替代品销往中国。这些订单主要下给了三星，三星有能力满足这些突如其来的紧急订单。SK海力士和美光无法满足这一需求，因为它们的晶圆产能被用于满足HBM订单等其他用途。由于三星能够提供具有竞争力的GDDR7，三星同样可以从Rubin CPX中受益。
更多关于预填充流水线并行：Rubin CPX分离式预填充的一个有趣优势
在前一节中，我们概述了Rubin CPX如何减少内存浪费，但Rubin CPX放弃了使用非常快速的扩展网络能力解决方案（如NVLink）是另一个关键节省点。Rubin CPX的片外I/O仅限于16通道PCIe Gen6，单向带宽约为1Tbit/s，而R200的NVLink为14.4Tbit/s。这对于执行预填充来说已经足够，即使是现代MoE前沿LLM也是如此。
例如，DeepSeek V3在NVFP4数字格式下运行时，需要335GB的内存容量来加载所有模型权重——这超过了单个CPX芯片128GB的内存容量。这可以通过使用流水线并行（PP）来克服，其中模型的多个层被拆分到不同的GPU上。在PP中，每个GPU顺序处理令牌，并将激活值沿流水线传递。
PP的缺点是令牌在多个GPU之间顺序传递，会因阶段间通信而产生延迟。重要的含义是，PP通常比专家并行（EP）提供更高的每GPU令牌吞吐量，但代价是PP的首令牌时间（TTFT）比EP更高。PP具有更高的tok/s/gpu吞吐量，因为EP具有较高的通信开销，涉及全对全集合操作，而PP的情况只是简单的发送和接收操作。
因此，对于流水线并行推理，更简单的通信需求意味着预填充几乎不会使通信链路饱和——这意味着无需配置昂贵的快速扩展网络。与HBM一样，这是另一个可以通过剥离预填充操作中未使用的设备层来节省成本的领域——从而避免系统所有者浪费总拥有成本。
在下表中，我们展示了使用PP8或PP4并行方案的DeepSeek预填充，每个令牌的消息大小为7kB。如果我们用消息完全饱和PCIe Gen6 x16通道的I/O，这意味着我们最多可以传输（从而处理）每秒1830万个令牌。这是通信限制。
转向计算限制场景，我们看到每个令牌的预填充FLOP为0.074 TFLOP。因此，如果我们将Rubin CPX的密集FP4吞吐量19,800 PFLOPS除以0.074 TFLOP，我们得到最大令牌吞吐量为每秒267,600个令牌。
这远低于通信限制，并且大大低于
甚至相当普通的PCIe Gen6 I/O也会出现瓶颈，更不用说NVLink了，其带宽是16通道PCIe Gen6的14倍以上。
我们估计，最终系统所有者承担的NVLink扩展总成本（包括NVSwitch和背板）约为每GPU 8000美元——这仅占每GPU集群总成本的10%多一点。这是Rubin CPX为用户带来显著节省的另一个方面。
然而，尝试使用较低速度网络连接的专家并行会导致延迟问题和瓶颈。通信需求需要与top_k乘以层数的乘积成比例。DeepSeek V3的top_k为8，有61层，因此粗略估算表明，使用EP而非PP会使通信需求增加约488倍。
关于扩展和黄氏定律的另一个问题
今天的讨论聚焦于使用NVFP4数字格式进行推理的指标。确实，推理提供商通过不断采用更低精度的数字格式来解锁更高的吞吐量。然而，一旦我们达到FP4，我们将开始耗尽可榨取的性能空间。
稀疏性被提出作为另一个可以解锁更高吞吐量的杠杆，这也是大多数营销规格和演示文稿以稀疏TFLOPS来传达的关键原因，但稀疏性尚未真正实现其承诺的好处——远未达到其承诺的2倍提升。
今天的发布还揭示了Rubin的稀疏性。这种稀疏方案不同于Hopper和Ampere中使用的2:4结构化稀疏性，也不同于Blackwell的4:8成对结构化稀疏性。我们希望Rubin稀疏性能够带来有意义的吞吐量提升，并保持黄氏定律的轨道！
硬件专用分离式服务的缺点
尽管预填充专用芯片的出现令人兴奋，但我们尚未达到理想状态，硬件专用分离式服务也有其缺点。随着提供商的工作负载和模型发生变化，他们能够更改预填充与解码实例比例（PD比例）至关重要。
定制芯片的未来是什么？
最佳PD比例对多种因素敏感，包括模型架构、SLA、网络带宽等。然而，Vera Rubin NVL144 CPX的一个关键缺点是它拥有固定数量和比例的Rubin和Rubin CPX芯片，这使得在希望更改PD比例时灵活性较差。
Nvidia在芯片演进方面的敏捷性正在迅速改变其竞争对手的格局。每当竞争对手在性能或架构方面接近持平，Nvidia就会沿着另一个维度演进其产品。让我们讨论Rubin CPX GPU的广泛采用可能如何影响竞争解决方案。
Google TPU
TPU的3D Torus扩展网络提供了一个独特优势，即最大pod大小可达9,216个TPU。这是业界最大的世界大小，同时提供了每加速器最低的扩展网络成本。这使得其他较小世界大小可能不支持的各种并行方案成为可能。
尽管如此，Google开发一款仅用于预填充的芯片以继续维持其内部工作负载的每美元性能优势将是理想的选择。他们拥有内部工作负载来产生锚定需求，以启动和资助开发一款仅用于预填充的芯片，该芯片也可以用于延迟
er 是用于外用的。
谷歌独特的拓扑结构意味着，在某些推理系统配置和模型下，其性能甚至可能超过某些英伟达系统。
AWS Trainium3 Max NVL72、AWS EFA NIC 和 Meta MTIAv4 SUE72
来自那些拥有内部工作负载但追求模仿 NVL72 机架形态设计的供应商的系统构成了另一个类别。这些供应商也拥有内部工作负载，可以启动仅预填充芯片的开发，而为了与英伟达的 VR200 NVL144 CPX 保持同等水平，他们这样做是理想的。
例如，一款与 Trainium3 Teton-3 Max NL72（具有 72 逻辑 GPU，全互联交换扩展规模与 VR200 NVL144 相同）配合使用的仅预填充芯片，可以借助 Anthropic 的需求进行协同设计，并在其推理工作负载中获得采用。
AWS 的 VR 144 CPX 将面临重大的上市时间挑战，因为其 1U 计算托盘已经高度集成，并装满了 4 个大型 Rubin GPU 封装和 8 个 CPX GPU 封装，没有空间在计算托盘中添加 AWS 的自定义 EFA NIC。亚马逊不想使用 ConnectX-9。AWS 热爱 EFA！
我们相信，他们将继续使用 EFA，并通过将 EFA NIC 分解到一个仅含 EFA NIC 的侧车机架中，并使用外部 PCIe AEC 电缆连接 VR 144 CPX 机架和仅含 EFA NIC 的侧车机架来克服这一挑战。此外，由于他们不会使用集成了 PCIe 交换机的 ConnectX-9 NIC，他们还需要使用 Astera Labs 的专用 PCIe 交换机来连接 Vera CPU、本地 NVMe、Rubin CPX GPU 以及通往侧车机架中 EFA NIC 的外部 PCIe AEC 电缆。
MTIAv4 的 SUE72（具有 72 逻辑 GPU，全互联交换扩展规模与 VR200 NVL144 相同）设计同样可以借助 Meta 的内部推理工作负载。即使是像 OpenAI 与博通合作的芯片这样的新兴设计，也有望参与竞争，因为它们将考虑与前沿模型进行协同设计，并以内部工作负载作为后盾。
尽管享有内部需求的好处，但 MTIAv3 因其较小的 16 GPU 世界规模而被排除在此类别之外。它现在实际上需要开发仅预填充芯片，才能有机会与即将推出的英伟达系统相匹敌。
AMD MI400 系列 UALoE72 和 MI500 UAL256
然而，随着 Rubin CPX GPU 的推出，AMD 的回归战略现在看起来不够快速或激进，AMD 将发现自己再次追赶英伟达。AMD 曾凭借机架规模的 MI400 即将赶上，但英伟达提高了标准。
AMD 与上述供应商的关键区别在于，AMD 缺乏强大的内部工作负载来为另一个仅为了跟上步伐的芯片开发项目提供收入和需求后盾。
AMD 在今年早些时候的 Advancing AI 活动中引起了轰动，当时它首次展示了其 MI400 72 GPU 机架规模系统。我们当时的分析指出，与 VR200 NVL144 系统相比，MI400 在 FP4 FLOPS 方面可以提供更低的总拥有成本——同时提供 19.8TB/s 的内存带宽，而 VR200 NVL144 最初宣传的内存带宽为 13.0 TB/s。
英伟达的 VR200 NVL144 现在通过向供应商要求更快的速度等级，宣传每个逻辑 GPU 的内存带宽约为 20.5TB/s。VR200 的内存带宽现在与 AMD MI400 相当，但使用的 HBM 站点更少。
如果 MI400 的 FP4 有效密集
FLOPS（即微基准测试实际能实现的性能，而非宣传的吞吐量）与VR200 NVL144相当或更低，AMD实际上将比Nvidia更晚进入市场，推出VR200 NVL144的翻版。与此同时，Nvidia将再次领先，因为VR200 CPX NVL144在长上下文长度下提供了更好的每TCO性能。AMD将不得不再次等到2027年才能赶上。
然而，我们认为AMD仍处于战斗模式，现在它需要在开发机架级系统和改进软件之外，开辟另一条战线，即专注于预填充的芯片之战，才有机会在2027年前赶上Nvidia。
Nvidia
最后——为什么Nvidia只停留在拥有一个专注于预填充的芯片？为什么不也做一个专注于解码的芯片？Nvidia迄今为止只推出了一款专注于预填充的芯片，而解码步骤仍由现有的R200芯片完成，而不是一个专门用于解码的SKU。
一个专门用于解码的芯片将与预填充芯片相反：计算能力弱，内存带宽大。这种芯片看起来像R200，但不需要那么多计算能力。理想情况下，通过保持I/O芯片的大小，可以保留用于内存和片外I/O的I/O，但主计算芯片面向I/O芯片的边缘可以减小，同时保持相同的边缘以在每个边缘容纳2个HBM站点。结果是一个更小的计算芯片。
通过大量功能简化的SM以及大幅降低与供电和热管理相关的TDP成本，还可以从参数良率的显著提高中获得额外节省。这与预填充芯片的情况相反，后者保留了HBM的数量，同时减少了系统的其他部分，从而使HBM在BOM中的份额回升。