Jul 26, 2026 19 min read Featured
CS336 Assignment 5:从 GRPO 到 DPO 的 Alignment 实战
从 rollout、reward、group advantage 到 GRPO/GSPO,再到 packed SFT 与 DPO:结合公式、张量形状、数值例子和 18 个独立测试完整拆解 Assignment 5。
大模型算法、训练系统与工程实践的学习笔记。
Tag
1 essay under this label.
从 rollout、reward、group advantage 到 GRPO/GSPO,再到 packed SFT 与 DPO:结合公式、张量形状、数值例子和 18 个独立测试完整拆解 Assignment 5。