训练基础模型需要协调数百或数千个GPU并行工作。本文介绍了大规模分布式训练的基础设施、技术和实践步骤。
如何利用GPU集群大规模训练基础模型？
什么是多节点GPU训练？
多节点训练将模型训练分布在多台机器（节点）上，每台机器配备多个GPU。不同于在单个8-GPU服务器上训练，你可以连接数十甚至数百个节点，从而在合理的时间范围内训练具有数十亿参数的模型。这涉及使用数据并行、张量和流水线模型并行以及参数分片等并行策略，将模型和数据划分到各个GPU上，同时通过NVLink和InfiniBand等高速互连协调执行。
为什么多节点训练很重要
基础模型的参数规模已从数十亿增长到数万亿。在单个节点上训练这些模型是不可能的——模型无法装入内存，训练将耗时数月。多节点集群将训练时间从数月压缩到数天或数周，加快了迭代周期和上市时间。
转向分布式训练也意味着基础设施变得至关重要。糟糕的网络配置可能将GPU利用率限制在40-50%，而在100节点集群中，硬件故障成为常规事件，你必须在不丢失训练进度的情况下处理这些问题。正确实施分布式训练决定了你的模型能否成功训练，还是消耗计算预算却毫无结果。
分布式训练的工作原理
并行策略将工作分配到各个GPU上。数据并行在每个GPU上复制完整模型，并将批次数据分配到各个GPU上——简单但受内存限制。模型并行将模型本身拆分到多个GPU上，支持更大的模型，但需要仔细协调。流水线并行将模型层划分为多个阶段，在不同阶段同时处理不同的批次数据。大多数生产训练会结合这些方法。网络互连在GPU之间传输梯度和激活值。在节点内部，NVLink提供900 GB/s的GPU间带宽。在节点之间，InfiniBand或RoCE网络通常提供每节点400-800 Gb/s的带宽。网络延迟和带宽直接影响训练速度——每一个百分点的网络开销都意味着GPU利用率的损失。检查点与容错定期保存训练状态。在100节点集群中，硬件故障每天都会发生。每隔几百步将检查点保存到分布式存储中，可以让你从最后一个保存点恢复训练。现代框架支持自动检查点/恢复，只需少量代码。
多节点训练能做什么
训练无法在单节点上容纳的模型：
一个70B参数的混合精度模型仅权重就需要约140GB。加上优化器状态和激活值，你需要400-600GB——远超单节点容量。
将训练时间从数月缩短到数天：
通过适当调优，从8个GPU扩展到128个GPU可实现12-15倍的加速。原本在单节点上需要30天的训练任务，在集群上只需2-3天即可完成。
更快地迭代模型架构：
更短的训练周期意味着更多的实验。测试不同的架构、超参数或数据混合，无需等待数周才能看到结果。
处理生产规模的数据集：
加载和预处理TB级的训练数据需要分布式I/O。配备并行存储的多节点集群能够维持所需的吞吐量，以保持GPU的供给。
生产示例：训练Qwen2.5-72B
在B300 GPU集群上训练一个72B参数的模型展示了真实的分布式训练。使用16个节点，每个节点8块B300 GPU（共128块GPU）：
- 模型通过张量并行（TP=8）和流水线并行（PP=2）分布在GPU上。最佳配置可能因序列长度、批次大小和互连性能而异。
- 通过适当的网络调优，实现了45-50%的MFU（模型浮点运算利用率）
- InfiniBand RDMA提供节点间6.4 TB/s的聚合带宽
- 每500步将检查点保存到分布式存储
- 训练吞吐量：约2,500 tokens/秒/GPU
常见问题包括：单个GPU上的PCIe总线错误导致节点掉线，NVLink连接故障需要重置GPU，以及梯度同步期间的网络拥塞需要调整交换机配置。
多节点训练入门
验证你的基础设施： 使用nvidia-smi nvlink状态检查和带宽测试来测试节点内的GPU间带宽。使用ib_write_bw或类似工具验证节点间网络吞吐量。在开始训练前确保达到预期的带宽。
配置你的分布式框架： 设置训练脚本，进行正确的分布式初始化。对于PyTorch：初始化进程组，为GPU通信设置NCCL后端，在模型中配置张量/流水线并行。先用小模型进行测试。
实现检查点： 配置自动检查点保存到分布式存储，保存间隔根据迭代时间和集群可靠性确定，在恢复时间和检查点开销之间取得平衡。测试从检查点恢复，确保能从故障中恢复而不丢失数据。设置检查点清理以避免填满存储。
运行扩展测试： 从2个节点开始，测量吞吐量和GPU利用率。扩展到4、8、16个节点，检查每一步的效率。目标为>80%的扩展效率（节点数翻倍应带来>1.6倍的加速）。在全规模训练前调试瓶颈。
监控训练运行： 持续跟踪GPU利用率、内存使用和网络带宽。设置节点故障、GPU错误或异常指标下降的告警。当硬件故障时，准备好从检查点重新启动。
常见问题
如何知道我的集群配置是否正确？ 在训练前运行合成基准测试。节点内GPU带宽在NVLink上应达到800+ GB/s。节点间带宽应达到InfiniBand规格的80%以上。如果实际训练运行显示GPU利用率低于70%且无明显瓶颈，请检查网络配置和存储I/O。
多节点训练中大多数失败的原因是什么？
硬件问题：GPU内存错误、GPU从总线上脱落、ECC和XID错误、PCIe总线故障、NVLink断开、GPU温度/节流网络问题：拥塞、交换机配置错误、RDMA问题存储问题：InfiniBand连接问题、挂载和MTU配置错误、检查点写入超时、元数据服务器过载、磁盘故障软件问题：驱动程序、VBIOS、固件不兼容、NCCL配置错误
我应该使用数据并行还是模型并行？ 对于适合单GPU内存的模型，从数据并行开始——它更简单且扩展性好。当模型超过GPU内存时，使用张量/流水线并行。对于非常大的模型，结合两者：节点内模型并行，节点间数据并行。