Jul 26, 2026 14 min read
配置、资源与权重同步
学会阅读 slime 启动参数、计算 GPU placement、选择 TP/PP/DP/CP/EP,并比较 NCCL、full disk 与 delta disk 同步。
大模型算法、训练系统与工程实践的学习笔记。
Tag
2 essays under this label.
学会阅读 slime 启动参数、计算 GPU placement、选择 TP/PP/DP/CP/EP,并比较 NCCL、full disk 与 delta disk 同步。
从 Hydra 配置树、batch 约束和 trainer.v1 异步旋钮出发,给出数学、代码、Agent 与大模型训练方案。