AI 工厂必须支持日益庞大的模型和更复杂的推理工作负载。为了跟上 AI 工作负载永不满足的算力需求，超大规模企业和 AI 原生公司正在开发定制 AI 加速器，即 XPU。大规模部署这些加速器需要高带宽内存（HBM）来持续为计算单元供给数据，需要足够的封装和硅片面积来容纳更多计算单元，需要高效的供电，以及有韧性的供应链。同时还需要机架级架构，以便将 XPU 部署到数据中心基础设施中。
NVIDIA NVLink Fusion 是一项连接技术和 IP，使超大规模企业和 AI 原生公司能够将定制 XPU 和 CPU 部署到 NVIDIA AI 基础设施平台中。他们可以使用 NVIDIA 的纵向扩展和横向扩展技术栈、生态系统以及 MGX 机架级架构，来降低开发和部署复杂度、提升性能，并加速半定制 AI 工厂的上市时间。
在封装层面，NVHBM 为这一统一架构提供补充。NVHBM 是一项定制 HBM 基础裸片技术，与领先内存厂商共同设计并验证，可实现更高的内存带宽、更好的面积节省以及更低的功耗。这些改进可以帮助定制 XPU 支持更大的模型、更快地读取 KV 缓存数据，并改善训练和大规模推理。
为什么带宽、裸片面积和功耗驱动加速器设计
训练、推理和代理式 AI 工作负载越来越依赖对模型权重、KV 缓存和激活数据的高吞吐量访问。随着 AI 系统从单个加速器扩展到机架级计算域，加速器封装必须平衡计算逻辑、供电、热设计和高带宽内存。
HBM 将至关重要的内存带宽放置在靠近加速器的位置，但验证领先的内存技术、封装集成和验证可能成为定制加速器项目的瓶颈。通过 NVLink Fusion，客户可以获得与领先内存制造商共同验证的 NVHBM 基础裸片，有助于减少集成和认证瓶颈。
| 特性 | NVHBM 优势 |
|---|---|
| 带宽 | 与标准 HBM4e 相比，内存带宽提升最高可达 30% |
| 面积 | 更高效的接口连接允许最多增加 25% 的计算裸片面积，用于额外的 XPU 能力 |
| 功耗 | 与标准 HBM4e 相比，HBM 功耗降低最高可达 15%，在数千个 XPU 上累积可节省大量功耗 |
表 1.
NVHBM 为 AI 加速器项目带来三项主要平台级优势：更高的内存带宽、更多的封装和硅片面积，以及更低的 HBM 功耗
现代 AI 加速器中的内存带宽瓶颈
AI 加速器性能取决于计算引擎能否持续获得数据供给。更高的 HBM 速度可在给定的封装预算内提高可用内存带宽，从而提升服务训练和推理中带宽密集型阶段的能力。与标准 HBM4e 相比，NVHBM 每堆栈可提供最高 30% 的内存带宽提升。对于受内存限制或部分受内存限制的 AI 工作负载，这意味着更好的加速器利用率和更高的吞吐量。通过更快地在 HBM 和计算核心之间移动数据并持续为其供给数据，这可以提高大模型推理期间的单用户 token 吞吐量。
NVHBM 提升了每个加速器内部的内存带宽，而 NVLink Fusion 则在更大范围内连接加速器，使工作负载能够更高效地利用分布式计算和内存。
当使用诸如专家并行（EP）或 WideEP等高级路由技术时，这种纵向扩展域尤为关键。在这些场景中，不同的专家位于不同的 GPU 上，需要在整个机架范围内实现无缝、高速的同步。NVIDIA NVLink 作为 AI 工厂的纵向扩展网络结构，在专家之间传输激活值和隐藏状态，并帮助在纵向扩展结构上同步分布式缓存。NVHBM 通过持续为本地计算引擎提供数据，最大限度地减少数据饥饿。
更大的封装面积，更高的灵活性
对于定制 AI 芯片而言，每一平方毫米都至关重要。加速器设计者必须决定将多少面积分配给矩阵引擎、向量单元、片上 SRAM、缓存层级、控制逻辑、内存接口、片上网络以及纵向扩展连接。定制内存实现有助于减少与访问 HBM 相关的设计和封装开销，从而释放面积用于特定工作负载的能力。
随着 AI 工作负载的多样化，这些额外的裸片面积为超大规模用户提供了更大的灵活性，以针对推理服务、推荐系统、多模态流水线或内部训练工作负载优化 XPU。通过减少内存接口所需的面积，NVHBM 使团队能够将芯片的更多部分直接用于提升性能。
面积的节省主要通过重新设计的物理内存接口（PHY）实现。标准 HBM 依赖更宽的接口连接，增加了总封装占位面积。NVHBM 采用针对效率优化的定制基础裸片，通过将内存控制器移入 3D HBM 堆栈并集成定制 PHY，减少了 I/O 面积需求。
与 JEDEC HBM4e 标准相比，该设计将 PHY 和支持面积减少了高达 67%。更窄的接口还简化了中介层布线，在整个布局中提供了高达 80% 的可用硅面积提升。
图 1. NVHBM 与标准 HBM 的裸片面积节省对比
如图 1 所示，缩小内存接口连接使中央 AI 计算裸片能够扩展到新释放的空间。这种回收为计算或其他功能提供了高达 30% 的可用主裸片硅面积增加。额外的硅面积使 XPU 设计者能够在固定的封装占位面积内** **添加更多功能。
高效扩展的功耗节省
功耗是现代 AI 基础设施中最严峻的约束之一。HBM 功耗影响加速器功耗预算、封装热设计、机架功耗包络和数据中心冷却方案。与标准 HBM4e 相比，NVHBM 可实现 HBM 功耗降低 15%，为计算创造额外的功耗和散热余量。
节能效果在多个层面都至关重要。在 XPU 层面，更低的 HBM 功耗可以提升每瓦性能，并为更多计算或更高持续利用率创造空间。在机架层面，它有助于减轻供电和冷却系统的压力。在 AI 工厂规模下，内存子系统功耗的哪怕小幅降低，在数千个加速器上累积起来也相当可观。当在一个使用 2,000W XPU 的整个 1 吉瓦 数据中心 中叠加计算时，节省的功耗可带来高达 15,000 个额外 XPU 的计算余量。
这一优势对于大模型推理尤为重要。XPU 必须在以低延迟和高吞吐服务用户的同时，反复读取模型权重和 KV 缓存数据。减少移动这些数据所消耗的能量，有助于支持更大模型上更快的推理、更大的批大小，以及更高效地利用已部署的功耗。
在机架规模上将 NVLink Fusion 与 NVHBM 相结合
NVHBM 在芯片层面提升了 XPU 的性能和效率。NVLink Fusion 使超大规模云服务商和 AI 原生企业能够将其 XPU 连接到 NVIDIA AI 平台的其余部分。通过将内存带宽提升 30%、裸片面积增加 25% 以及 HBM 功耗节省 15% 叠加起来，这些协同设计的架构改进转化为每个 XPU 整体端到端性能显著提升 30%。
这种连接通过 NVLink Fusion chiplet 实现，它桥接定制 XPU 与 NVLink 结构，将机架中的所有 XPU 连接成一个单一 scale-up 域。NVLink 现已发展到第六代，是唯一经过验证、专为 AI 工厂打造的 scale-up 网络结构，可提供领先的性能和智能韧性。在上游，XPU 可以通过 NVLink-C2C 连接到 CPU。
NVLink Fusion 采用者可以将定制 XPU 和 CPU 与 NVIDIA 的 scale-up 和 scale-out 技术栈及生态系统相结合，从而降低开发和部署复杂性、提升性能，并加速半定制 AI 工厂的上市时间。并且，通过标准化到单一统一架构，NVLink Fusion 简化了整个数据中心的运营，支持数据中心容量的灵活重新配置，并使定制 AI XPU 能够与 GPU 集成以实现异构计算。
定制 AI 芯片的下一阶段
NVLink Fusion 为 GPU、定制 XPU 和 CPU、网络以及机架级软件提供了通用的 scale-up 基础。NVHBM 以更高的内存性能、计算密度、HBM 能效和供应韧性来补充这一基础，面向下一代加速器。这些技术为合作伙伴提供了一条更直接的路径，从定制 AI 加速器设计走向机架规模部署和量产。
了解更多关于 NVLink Fusion 和 NVHBM 的行业采用 的信息。