Aug 23, 2026 4 min read
10. GPipe:用微批次把超大模型流水化
GPipe 把连续网络层切到 K 个设备,再把一个 mini-batch 切成 M 个 micro-batch 依次穿过这些分区。设备处理不同微批次形成流水线;所有微批梯度累积后只做一次同步更新,避免异步权重陈旧。
大模型算法、训练系统与工程实践的学习笔记。
Tag
6 essays under this label.
GPipe 把连续网络层切到 K 个设备,再把一个 mini-batch 切成 M 个 micro-batch 依次穿过这些分区。设备处理不同微批次形成流水线;所有微批梯度累积后只做一次同步更新,避免异步权重陈旧。
学会阅读 slime 启动参数、计算 GPU placement、选择 TP/PP/DP/CP/EP,并比较 NCCL、full disk 与 delta disk 同步。
精确比较 slime 的同步、N/N+1 流水和 fully-async rollout,理解吞吐、staleness、colocate 与恢复边界。
拆解配置、控制流、资源编排、Worker、DataProto 和 TransferQueue 的职责边界。
比较共置与分离、FSDP2 与 Megatron、vLLM 与 SGLang,以及六种权重同步后端与异步正确性。