NVIDIA 拥有全球规模最大、最复杂的供应链之一,其表现以“从晶圆出厂到首个 token”来衡量。这段时间分为两部分:Time-to-rack(上架时间)是从硅片离开晶圆厂到组装好的系统抵达数据中心机房;Time-to-token(出词时间)则涵盖此后的一切:供电、散热、网络,以及让基础设施在第一天就能产出价值的软件栈。
NVIDIA Grace Blackwell NVL72 平台涉及数百万个零部件和遍布全球的数千家供应商,最终系统由数十家 OEM 和 ODM 厂商制造。仅一个计算托盘(单个机架共有十八个)就需要两颗 NVIDIA Grace CPU、四颗 NVIDIA Blackwell GPU 和三十二个 HBM3e 堆栈。我们为 Vera Rubin 打造的供应链规模是 Grace Blackwell 的两倍。CPU、GPU 和内存都是关键部件,而每一种的供应情况每周都在变化,所以这周卡住生产的部件,下周可能就充足供应。每种部件都有各自的物料清单、供应商和交付周期。再乘以机架中的每个子组件,这就不太像一条供应链,而更像一个令人望而生畏的组合数学问题。
只有所有组件都从三类来源到齐,合同制造商才能开始组装:NVIDIA 直接提供的部件、NVIDIA 以寄售方式备货的部件,以及来自供应商的部件。理想情况下,所有组件同时到达;但如果不是这样,先到的就得等所有迟到的。NVIDIA 从制造基地收到物料的那一刻起开始计时,直到这些物料作为子组件或产品的一部分离开为止,这一指标称为 Time of Ownership(TOO,持有时间)。
由于供应情况高度动态,NVIDIA 必须决定向每个制造基地分配什么物料、分配多少。这被称为关键物料分配问题,每周都要人工重新调整。分配计划覆盖当前季度和下一季度,最近几周的部分已经承诺,因此每周的新数据主要改变的是更远期的安排。
本文主要关注 Time-to-rack,而压缩这一时间需要四个条件:
- 实时可见性,以便随时精准定位关键的运营瓶颈
- 冗余,避免单点故障导致生产停摆
- 可靠性,使上游的生产承诺得以兑现
- 将人类专家经验编码化,使复杂分配决策背后的判断沉淀为持久的知识,并随时间不断积累增值
前三项提供了必要的运营基础,而真正发生最显著变革的,是对人类专家经验的编码化。

在 Palantir Foundry 中构建供应链指挥中心
NVIDIA 供应链运营团队与 Palantir 合作,为物料分配决策的每一项输入建立了统一视图。NVIDIA 团队称之为 Digital Supply Chain Intelligence 指挥中心,它能呈现风险、阻碍及其他信号,这些信号会影响决策,但此前可能一直埋没在彼此割裂的数据源中。
▶ https://www.youtube.com/watch?v=xZBaOenSZ9I
视频 1. 面向算力供应链的主权 AI
在底层,Palantir Foundry 提供运营上下文。Ontology 把物料、制造基地、承诺、产能、分配、产出以及非结构化的定性信号连接成一个受治理的数据层。它由对象和链接而非行与表组成,构成对运营现实的完整表征。
这种表征使分配规划人员能够模拟和分析多种不同的情景,大幅拓宽他们接触决策空间的范围,也为 AI 飞轮奠定基础,让新知识不断累积、性能持续提升。

用 NVIDIA cuOpt 解决定量部分
在多个制造基地之间分配物料,首先是一个定量问题,建模从决策变量开始:在未来一段时间内,每种受限物料分别分配给哪些基地、何时分配、各分配多少?围绕这些变量的是所有限制答案的条件,包括每家有能力制造某个 Blackwell 子组件的制造商,以及每个基地在物料到货后能够消化的吞吐量。还包括沿供应链向上游回溯的每个必需部件的依赖图,这样求解器就知道,计算托盘受制于最稀缺的输入,而不是平均水平的输入。而这一约束瓶颈并不固定,它会在以下几项之间转移:
- GPU、CPU 和内存,逐周变化
- 三条供应路线上的到货时间
- 已向客户做出的承诺,这决定了任一基地出现缺口的实际代价
- 数以千计的变量和约束,最终归结为一份每周的分配方案。
NVIDIA cuOpt 是一个用于 GPU 加速决策优化的开源库,正是用来解决这个问题的。它从 Ontology 中获取输入,并把结果作为分配决策写回。分配被表述为一个混合整数线性规划问题,目标是最小化 Time of Ownership(TOO)。cuOpt 返回的不只是分配方案本身,它还会报告哪些约束处于紧绷状态,因此规划人员能看出,压低本周数字的是台湾的产能,而不是内存供应。
由于求解速度很快,规划人员还可以探索答案周边的空间。如果本期内存减少百分之十会怎样?如果新增一个制造基地投产呢?规划人员不再只是向求解器要一个答案,而是开始问它各种权衡取舍是什么。
数学止步之处
定量优化并不能说明全部。NVIDIA 和 Palantir 把历史分配决策与实际发生的情况做了回测,发现了 cuOpt 没有捕捉到的人为因素。
规划人员依据的是求解器看不到的信息:当周与合作伙伴往来的邮件、某个关键地区天气预报中的恶劣天气或正在发生的地缘政治事件、上一次供应商复盘电话会议的记录,以及多年积累的经验。这些输入形成了对下一时期如何分配物料的直觉,而这种直觉正是人类专家胜过数学模型的地方。
有鉴于此,NVIDIA 和 Palantir 围绕这些人类专家构建了这套工作流。它记录分配决策、决策背后的依据、预期结果以及实际结果。机构内部的经验由此变成明确、可审查的决策逻辑,而且由于这些数据存放在 Ontology 中,它们就成为基于专家判断训练 LLM 的基础。
将决策智能编码化
随后,我们对一个开放权重的 LLM 进行后训练,让它运用同样的推理并给出建议。在评估了 NVIDIA Nemotron 开放模型之后,我们选择了 Nemotron 3.5 Lightning,因为它专为智能体工作流的执行层而设计。它在由多个模型组成的系统中承担专门任务,该系统中还包括用于编排和通用任务的更大规模变体。
它的混合专家(mixture-of-experts)架构有助于实现高效推理;该模型体量轻巧,总参数量 300 亿,每次前向传播约激活 30 亿,但仍足够大,能够学到专注的策略。这样的规模使后训练循环切实可行,因为较小的模型学得更快,训练和部署所需的算力也远少于更大的模型。
由于 Nemotron 是开放的,它可以在你自己的算力边界内进行后训练。任何组织都可以在自己的运营数据上运行同样的飞轮,而无需把数据暴露到外部。模型从规划人员实际使用的信号中学习:向某个制造基地提供了多少受限物料,该制造商承诺生产多少,最终实际生产了多少,以及决策当时可获得的定性运营依据。
目标是把一套分配策略编码化:它能评估生产风险,推荐分配区间,指出该建议背后的因素,并向供应链团队解释其推理过程。
同一份记录也兼作评估框架。我们仅用当天可知的信息重放每一项决策,隐藏结果,再把模型的建议与规划人员的判断以及实际发生的情况进行对比。这一评估要回答的核心问题是:如果这个模型上个月就在运行,它会做出正确的分配决策吗?
从 Ontology 数据到专用模型
训练流程从 Palantir Ontology 中的运营历史开始:
- 匿名化:NeMo Anonymizer 在训练前移除个人身份信息,并对敏感字段做混淆处理。
- 合成数据生成:NeMo Data Designer 对样本进行扩充和均衡,使模型不仅见到常规的周,也见到分配增加、产能受限和中断等情景。
- 监督微调:NeMo AutoModel 在基础权重保持冻结的情况下,训练一小组 LoRA 适配器参数,从而缩短训练时间,降低内存需求,缩小检查点体积。
- 评估:时点回测会让基础模型和微调后的模型分别重放同样的历史决策,从而分离出后训练带来的增益。
Palantir Autopilot 负责端到端管理整个生命周期:基于 Ontology 数据启动每个任务,监控已部署的定制 Nemotron 模型,并保持从数据到模型版本再到建议的完整血缘。
部署之后,模型读取当前的运营上下文,返回一条建议,并附上其依据和相关风险。规划人员审阅后做出最终决定。

形成闭环
每一次采纳、修改、否决以及生产结果都会写回 Ontology,不断累积,直到积累了足够有代表性的数据,足以支撑再进行一轮受治理的训练。
未来,这些反馈将用于强化学习。被采纳和被否决的建议将构成偏好对,奖励涵盖分配正确性、策略合规性和证据依据性。模型绝不会在生产环境中自行重新训练。
其收益以两种方式不断累积:规划人员花在重建常规决策上的时间减少,因此能覆盖更多基地和产品;同时,分配方面的专业经验也沉淀为机构知识,缩短新人上手时间,并把关键经验传播到整个组织。
后训练带来了什么
NVIDIA 供应链运营团队与 Palantir 合作,明确了模型接收什么、可以推荐什么,以及这些建议如何评分。这套工作流既成为应用,也成为分配决策智能的基准测试。
我们在相同的任务和相同的评估数据上比较了三个模型:
- 基础版 Nemotron 3.5 Lightning(BF16)
- Nemotron 3 Ultra(NVFP4)
- 我们后训练的 Nemotron 3.5 Lightning(BF16)
在开发基准测试上,后训练的 Lightning 模型达到了 86.7% 的分配决策准确率。Ultra 为 55.5%,基础版 Lightning 为 17.5%。也就是说,后训练模型比 Ultra 高出 31.2 个百分点,比其自身的基础模型高出 69.2 个百分点。

在另外两个按决策类型而非按样本等权计算的指标上,它同样领先。平衡准确率对各类别的召回率取平均,因此罕见决策与常见决策的权重相同:
58.6%,而 Ultra 为 42.0%。Macro-F1 对各类别的 F1 取平均,纳入了精确率,使模型无法靠过度预测某个罕见类别来虚高召回率:57.5%,而 Ultra 为 39.5%。这两项都很重要,因为供应受限,规划人员削减分配的次数远多于增加分配的次数,所以单看准确率,只会让一个总是猜多数类别的模型显得更好。
这个经验很具体,但很重要:
在边界明确的分配任务上,一个专用的 30B 模型可以胜过体量超过其一个数量级的通用模型。
这并不意味着较小的模型整体能力更强。它的提升集中在其后训练所针对的领域。尽管做了微调,对未来生产风险的预测仍然困难。专业化改善了决策任务,但没能解决与之相关的所有预测问题。
LoRA 训练在 2 块 NVIDIA B200 GPU 上几分钟就跑完了,足够轻量,可以随着反馈的积累反复进行。这就是主权 AI 的实践:专有的供应链数据、模型权重和推理全部保留在同一个受治理的环境之内。这套 AI 技术栈既可以部署在本地,也可以部署在云端,使各组织能够根据数据、系统和运营需求,在合适的地方运行 AI。
一条会学习的供应链
本文讨论的供应链工作流并不只适用于半导体。任何由经验丰富的人员依据零散信号来分配关键产能的业务,都可以运行同样的飞轮,并针对新的领域加以定制。
这需要三个要素:
- 一个受治理的运营层
- 同时包含依据和结果的决策记录
- 一个能在你自己的安全算力边界内进行后训练的开放模型
运营数据训练模型,模型改进决策,决策又成为下一轮受治理训练的新运营数据。NVIDIA 和 Palantir 就是这样压缩了从晶圆出厂到首个 token 的时间,也正因如此,全球最可靠的 AI 基础设施供应链,学习的速度快过它增长的速度。
立即开始,为你自己的智能体工作流定制高效的开放权重模型。
想及时了解 NVIDIA Nemotron 的最新动态,请订阅 NVIDIA 新闻,并在 LinkedIn、X、YouTube 上关注 NVIDIA AI,或加入 Discord 上的 Nemotron 频道。
可在 Hugging Face 上获取开放的 Nemotron 模型,并在 build.nvidia.com 上获取一系列 NIM 微服务和开发者示例。
