传统云基础设施是为可预测的通用工作负载和标准接口设计的。智能体式（agentic）AI 工厂将各类用户、智能体、应用、数据源和存储系统，与每台服务器多太比特带宽的大规模加速计算连接起来，这使得专用 DPU 处理对于线速网络、存储和安全至关重要。NVIDIA 推出 Scale-In 网络基础设施，这是 NVIDIA AI 网络的第五大支柱，为 agentic AI 工厂的安全防护、管理和运维带来专用加速。
Scale-In 将南北向网络演进为 AI 工厂中协同运作的基础设施域。Scale-In 由 NVIDIA BlueField-4 和 NVIDIA DOCA 提供支撑，通过 NVIDIA Spectrum-X Ethernet 互联，加速保护整个 AI 技术栈的各项服务，并在 AI 工厂内转发应用、数据和存储流量。专用且独立于主机的处理，让这些基础设施服务不占用主机 CPU，有助于避免随着 AI 算力扩展，安全、数据访问和运维成为瓶颈。其结果是共享 AI 基础设施更安全、更高效，需求增长时也能持续稳定地访问 AI 服务和数据。
本文探讨 BlueField-4 的架构，并说明 Scale-In 如何为 agentic AI 工厂提供安全访问、高性能数据移动、租户隔离、更简便的运维以及更可预测的性能。
Scale-In 加速南北向 AI 工厂基础设施
AI 工厂在不同规模上有各自不同的基础设施需求：
- Scale-Up（纵向扩展）：NVIDIA NVLink 将多块 GPU 整合为一个一致的加速器。
- Scale-Out（横向扩展）：NVIDIA Spectrum-X Ethernet 和 NVIDIA Quantum InfiniBand 连接 AI 工厂内的各台服务器。
- Scale-Across（跨域扩展）：NVIDIA Spectrum-XGS Ethernet 连接分布式 AI 工厂。
- 上下文内存（Context Memory）：NVIDIA CMX 构建于面向 AI 原生存储的 NVIDIA STX 模块化基础之上，在工厂内部提供共享的 KV 缓存存储。
- Scale-In（内向扩展）：NVIDIA BlueField-4、NVIDIA DOCA 和 NVIDIA Spectrum-X Ethernet 加速围绕 AI 算力的访问、安全、数据移动和基础设施运维。
南北向网络提供进出数据中心的访问路径，将用户、应用、数据源、存储系统和服务与各个系统连接起来。传统云数据中心围绕软件定义基础设施、可组合性和弹性来构建这些网络，使资源和访问能够随需求变化而供给和扩展。
agentic AI 对这一基础设施提出了更高要求。软件定义网络、可组合性和弹性依然不可或缺，但已不再足够。AI 工厂将大规模加速计算与日益增多的用户、智能体、应用、企业数据源和存储系统汇聚在一起，它们持续不断、大规模地相互交互。
基础设施必须经过加速，并作为 AI 工厂的一部分协同设计。安全、多租户网络、数据与存储访问以及基础设施运维，不能仅仅依赖运行在通用主机 CPU 上的软件，也不能作为各自独立管理的层来运作。这些功能必须作为统一的基础设施域协同工作，让运维人员能够在整个 AI 工厂范围内对访问、数据移动、安全、配置供给和可观测性实施一致的控制。
Scale-In 通过将南北向访问演进为贯穿 AI 工厂的统一加速基础设施域来满足这些需求。BlueField-4 提供独立于主机的加速与卸载，DOCA 提供用于编程和运维基础设施服务的统一模型，Spectrum-X Ethernet 则在整个 Scale-In 访问路径（包括外部存储和数据源）上提供高性能以太网连接。三者共同让运维人员能够对支撑加速计算和数据存储的基础设施中的访问、数据移动、安全、配置供给和可观测性实施一致的控制。
AI 工厂依赖互补的存储基础设施来保存持久数据和推理上下文。Scale-In 提供对 AI 原生存储的高性能访问，包括用于训练、推理和分析的 AI 工厂存储，以及用于检索和多模态索引的企业 AI 数据系统。另一方面，CMX 在工厂内部为共享 KV 缓存和可复用的推理状态提供 pod 级存储。BlueField-4 既是 Scale-In 的基础设施处理器，也是 CMX 的数据与存储处理器。Scale-In 将 AI 工厂数据和企业数据连接到 AI 算力，CMX 则保存并共享上下文，使推理更快、更高效。
这五大基础设施支柱共同满足 AI 工厂中各不相同的需求。只有当数据访问、存储、网络安全和运维随之扩展时，扩展 GPU、机架和数据中心才能产生价值。
BlueField-4 为 Scale-In 基础设施提供动力
BlueField-4 在 GPU 服务器、agentic CPU 系统、AI 工厂存储系统和云服务中加速 Scale-In 服务。在 NVIDIA Vera Rubin NVL72 中，NVIDIA ConnectX-9 SuperNIC 通过 Scale-Out 网络承载租户工作负载流量，而 BlueField-4 则运行并加速连接、保护和管理每台服务器的基础设施服务。BlueField-4 为运维人员提供了位于租户主机之外的独立基础设施处理域，他们可以在其中管理安全策略、服务状态和遥测数据，而无需依赖主机 CPU，也不占用其资源。
NVIDIA BlueField Astra 将可信控制从南北向访问延伸到东西向的 Scale-Out 网络架构。Astra 为服务提供商提供统一的、独立于主机的控制点，用于跨两个域的配置供给、租户隔离和网络策略。BlueField-4 负责安装和更新策略并监控遥测数据，ConnectX-9 则直接在数据路径中执行这些策略。这一闭环在 Scale-In 和 Scale-Out 之间提供一致的控制，而无需把设备管理放在租户主机中。
BlueField-4 将可编程的控制平面处理与加速的数据路径处理结合在一起。软件负责做出基础设施决策，内联引擎则在本地执行这些决策，无需把工作交还给主机 CPU。这种设计使策略能够在整个工厂范围内协调，并在本地以线速执行。表 1 总结了主要组件如何支持这一处理模型。
表 1. BlueField-4 的各组件在 Scale-In 处理路径上平衡控制平面处理、数据路径加速、内存访问、主机 I/O 和网络带宽。
| 组件 | 作用 | 优势 |
|---|---|---|
| 64 核 NVIDIA Grace CPU | 运行策略、配置供给、遥测和基础设施编排软件 | 算力是上一代的 6 倍，可同时运行多个基础设施服务 |
| 内联加速引擎 | 处理数据包、RDMA、存储协议、加密、防火墙规则和策略执行 | 处理速率最高可达 800 Gb/s，同时减轻 Grace CPU 和主机 CPU 的处理负担 |
| LPDDR5X 内存子系统 | 为基础设施软件提供数据和服务状态 | 提供高内存带宽和高能效运行，不会造成内存瓶颈 |
| PCIe Gen6 主机连接 | 将 BlueField-4 连接到主机服务器 | 在主机与 Scale-In 基础设施处理域之间提供高带宽通路 |
| 800 Gb/s 网络接口 | 将服务器连接到 Scale-In 网络架构 | 支持高吞吐量的访问、安全、数据移动和存储流量 |
与 BlueField-3 相比，BlueField-4 的内存带宽提升 4 倍，网络带宽提升 2 倍。这些额外的容量可支持更多并发服务、更大的策略和遥测数据集，以及更高的流量处理和安全吞吐量。
NVIDIA DOCA 为 Scale-In 服务编程
NVIDIA DOCA 将 BlueField-4 的硬件加速器转化为可编程、可部署的 Scale-In 服务。可用于生产环境的容器化 DOCA 微服务可直接运行在 BlueField-4 上，DOCA 库和 SDK 则让开发者能够调用加速的网络、安全、存储和遥测能力来构建自定义服务。DOCA Flow 用于编程硬件数据包处理流水线，DOCA PCC 支持可编程的拥塞行为，DOCA Telemetry 提供设备和服务的健康状态，DOCA Platform Framework（DPF）则负责配置供给、部署和更新。BlueField-4 的多服务架构和原生服务功能链（service function chaining）会引导每条流量依次经过所需的服务序列。这些能力为 Scale-In 提供了统一的软件模型，可跨 BlueField-4 系统运维服务，而不必管理各自独立的服务器流水线。
NVIDIA Spectrum-X Ethernet 连接 Scale-In 网络架构
NVIDIA Spectrum-X Ethernet 在整个 Scale-In 访问路径（包括外部存储）上提供高性能网络架构。BlueField-4 在每个系统上处理基础设施服务，Spectrum-X Ethernet 则在 AI 工厂与其周边的用户、应用、数据源、服务和外部存储之间承载流量。Spectrum-X Ethernet 能够解决大规模下的负载均衡冲突和拥塞问题，提高资源利用率，帮助维持较高的有效带宽，并隔离并发流量，使访问和存储流量获得更一致、更可预测的性能。
BlueField-4 DPU、DOCA 微服务和 Spectrum-X Ethernet 网络与 NVIDIA Vera Rubin 协同设计，使处理器性能、内存带宽、PCIe 连接、网络带宽、加速能力和软件能够彼此匹配。它们共同提供了一条 Scale-In 路径，在不占用分配给 AI 工作负载的资源的前提下，处理传输、服务处理和控制。
agentic AI 工厂的 Scale-In 关键用例
agentic AI 工厂必须安全地共享加速基础设施，为其供给企业数据，让系统上线，并持续监控性能。以下用例展示了 BlueField-4 加速和 DOCA 服务如何满足这些生产需求。
构建隔离的 AI 工厂虚拟私有云
AI 工厂虚拟私有云（VPC）在共享的物理基础设施上隔离租户和应用流量。DOCA Host-Based Networking（HBN）在 BlueField-4 上加速南北向三层路由和多租户隔离。DOCA Flow 负责编程流量分类和访问控制规则，DOCA 加速的 Open vSwitch（OVS-DOCA）则在东西向接口上应用相应的策略。BlueField Astra 将同一套 VPC 策略延伸到东西向的 Scale-Out 接口，因此一个策略模型即可同时管辖访问流量和 Scale-Out 流量。
在 Vera Rubin 中，这种协同模型覆盖 7.2 Tb/s 的聚合接口带宽，包括南北向 BlueField-4 路径上的 800 Gb/s，以及每个计算托盘四条 1.6 Tb/s 的东西向路径。这样无需让所有东西向流量都经过 800 Gb/s 接口，就能对访问流量和 Scale-Out 流量提供一致的策略覆盖。运维人员集中配置隔离的 AI 工厂 VPC，租户则继续使用加速网络架构。该架构提供类似云的弹性、一致的隔离、更低的主机 CPU 开销，以及对共享 AI 基础设施更高效的利用。
在芯片中强制执行安全策略
BlueField-4 将策略执行点置于硬件中，位于主机操作系统之外。租户软件无法禁用或绕过这些控制，而卸载的安全处理既节省主机 CPU 周期，又避免了额外的软件跳转。BlueField-4 加速威胁检测，并以线速执行网络、文件和对象访问策略。DOCA Argus 提供运行时威胁检测，DOCA Vault 执行文件访问策略，DOCA Flow 则编程线速的网络策略执行。BlueField Astra 协调每台服务器上不同网络之间的加密、隔离和策略。Astra 在南北向和东西向流量之间同步策略、遥测、密钥和执行，使特权安全控制保持在租户主机之外，为共享 AI 服务提供一致的保护，并为 AI 工作负载保留主机资源。
加速存储访问
Scale-In 将 AI 算力与来自外部存储的训练数据、模型资产、企业知识和应用数据连接起来。如果存储协议处理、存储虚拟化或数据移动跟不上，那么即使有可用算力以及 Scale-Up/Scale-Out 网络带宽，GPU 也只能等待数据。
BlueField-4 在专用基础设施上加速 NVMe-oF、基于 RDMA 和 TCP 的文件与对象存储协议、存储虚拟化和数据移动。Spectrum-X Ethernet 在整个存储路径上提供面向 AI 优化的以太网架构，其拥塞管理和性能隔离有助于在并发存储流量中维持较高的有效带宽，存储吞吐量最高可达现成以太网的 1.45 倍。这降低了主机 CPU 开销，有助于让 AI 算力持续获得数据，并为训练、检索和推理提供对企业数据更一致的访问。这条外部数据路径与 CMX 互为补充。
运行 AI 工厂控制平面
AI 工厂节点在运行 AI 工作负载之前，必须先完成配置供给、配置、安全加固和联网。BlueField-4 负责节点接入、配置网络和存储资源、启动服务器，并通过网络加载主机操作系统。由于该控制平面独立于主机运行，它能在租户软件启动之前就建立策略并配置资源。DOCA Platform Framework 是一个 Kubernetes 原生的编排框架，可将 BlueField DPU 作为 Kubernetes 节点进行配置供给、管理和扩展。它负责整个 AI 工厂范围内的 DPU 发现、配置供给、服务部署和更新。这缩短了部署时间，提高了配置一致性，保留了主机 CPU 资源，并让新的 AI 算力更快上线。
观测并优化 AI 运维
大规模运维 AI 工厂，需要持续了解网络流量、存储访问、服务健康状况、性能和资源利用率。DOCA Telemetry 收集这些信息并导出到网络监控平台，DOCA 库则让可观测性服务商能够把同样的基础设施信号集成到自己的工具中。通过 BlueField-4 采集遥测数据，运维人员无需依赖租户主机软件就能保持可见性。当基础设施遥测扩展到 GPU 和网络利用率时，运维人员可以识别与访问、流量、存储、策略执行或工作负载放置相关的限制因素。这种覆盖整个集群的可见性有助于发现异常、定位瓶颈，并在事故影响 AI 工作负载之前将其解决。
Scale-In 将规模化算力转化为 AI 工厂的性能
Scale-In 将南北向网络演进为面向数据访问、安全和运维的协同加速基础设施域。NVIDIA BlueField-4 提供网络加速，DOCA 负责编程并运行这些服务，Spectrum-X Ethernet 则在 Scale-In 访问和存储路径上提供较高的有效带宽和性能隔离。它们共同帮助把规模化的算力转变为安全、可运营的 AI 工厂平台。
后续步骤
- 探索 NVIDIA BlueField 平台，了解产品架构、规格和资源。
- 进一步了解 NVIDIA Spectrum-X Ethernet 和 NVIDIA DOCA 软件框架。
- 开始为 BlueField 编程：下载 NVIDIA DOCA，遵循 DOCA 入门指南，并构建 DOCA 示例。