两个 verl 修复 PR 的完整拆解:#7150 与 #7151
从框架链路、bug 成因、修复取舍到验证纪律,拆解我提交给 verl 的两个正确性修复 PR。
大模型算法、训练系统与工程实践的学习笔记。
Tag
16 essays under this label.
从框架链路、bug 成因、修复取舍到验证纪律,拆解我提交给 verl 的两个正确性修复 PR。
字节、阿里、快手、腾讯、百度真题逐题精讲,加训推不一致、异步 RL、Agentic RL 三大热点专题。
对照源码盘点全部 14 种 advantage estimator、12 种 policy loss、KL、长度偏置及常见算法组合。
拆解配置、控制流、资源编排、Worker、DataProto 和 TransferQueue 的职责边界。
从 Hydra 配置树、batch 约束和 trainer.v1 异步旋钮出发,给出数学、代码、Agent 与大模型训练方案。
说明训练数据 schema、reward 管理、多轮 token mask、工具调用、VLM 和 LoRA。
串联数据准备、dry-run、smoke test、正式训练、checkpoint、合并与离线验证。
比较共置与分离、FSDP2 与 Megatron、vLLM 与 SGLang,以及六种权重同步后端与异步正确性。
梳理新增 estimator、reward、模型、rollout、AgentLoop、训练后端与自定义 sampler 的扩展入口。
用一条完整数据流快速理解 verl 的核心价值、关键抽象,以及 PPO 与 GRPO 的差异。
辨析 V1、fully async、rollout correction、蒸馏、checkpoint 与确定性的真实边界(2026-08 基线)。