专题
verl 源码解读与面试指南
从 RLHF 基础、系统架构和训练链路,到分布式后端、排障、扩展、模型导出、大厂真题与 PR 实战的完整专题。
共 16 篇,按顺序阅读。
这是一套面向零基础读者和技术面试的 verl 系统教材。它不只解释 PPO、GRPO 等算法,也会沿当前 V1 主链追踪数据、角色、资源、训练后端、rollout 服务和权重同步,最后给出真实训练、排障与模型导出的完整闭环,以及 2025–2026 大厂真题热点精讲和两个真实 PR 的深度拆解。
阅读时建议先建立三条主线:算法下一步需要计算什么;每个字段由谁生产、谁消费;这些计算在哪些 GPU 上、以什么后端执行。掌握这三条线后,大量配置项会自然落到对应位置。
本专题于 2026-08-29 再次全面复核,依据 verl main 分支 commit ea53291385ce764019a2b40733605f21d8317583(版本 0.10.0.dev,最新正式 release 为 v0.9.0)编写。本轮逐项核对了上一版基线后的 62 个上游提交,新增 separate-async step 间动态借卡、FSDP-Turbo、多模态 Continuous Token、uv 锁文件环境、checkpoint callback、vLLM/SGLang PD 边界、NCCL multi-sender 和 GSPO 聚合语义,并重新核实了 #7150/#7151。verl 演进很快,原理相对稳定,具体支持矩阵仍应以目标版本的 registry、配置校验、示例和 CI 为准。
如何使用
- 只剩 1 小时:先读第 1、3、4 篇和真题热点篇,确保能讲清框架定位、核心抽象、一次 GRPO step 的数据流、训推不一致是什么。
- 有 1 天:按顺序读到第 9 篇,再用面试题库和真题热点篇自测;重点理解设计取舍,不要背 YAML 参数。
- 准备项目深挖:边读边打开固定 commit 的源码链接,优先追类和函数调用链,不从目录第一行开始通读。
- 准备场景题:重点读分布式、配置实战和性能排障三篇,用”约束 → 方案 → 指标 → 风险”组织回答。
- 准备 2025–2026 热点:真题热点篇覆盖训推不一致(TIS/MIS)、异步 RL 与 staleness、Agentic RL 三大专题,这是近两年新增考点最密集的地方。
术语约定
- actor:当前被优化的策略模型。
- rollout:使用 actor 权重生成回答的推理服务或阶段。
- reference policy:冻结参考策略,主要用于 KL 约束。
- critic:估计状态价值的模型;GAE/PPO 常用,GRPO 通常不用。
- 组:同一个 prompt 采样得到的多条回答,通常通过
uid关联。
文中的文件与行号用于快速定位;代码继续演进后行号会漂移,因此链接同时保留符号名和固定 commit。
篇目
-
01
-
02
-
03
Jul 26, 2026 约 6 分钟verl 系统架构:Role、WorkerGroup 与 DataProto
拆解配置、控制流、资源编排、Worker、DataProto 和 TransferQueue 的职责边界。
-
04
-
05
Jul 26, 2026 约 10 分钟verl 算法与数学实现:PPO、GRPO、RLOO 与 DAPO
对照源码盘点全部 14 种 advantage estimator、12 种 policy loss、KL、长度偏置及常见算法组合。
-
06
Jul 26, 2026 约 9 分钟verl 分布式执行与训练、Rollout 后端
比较共置与分离、FSDP2 与 Megatron、vLLM 与 SGLang,以及六种权重同步后端与异步正确性。
-
07
Jul 26, 2026 约 7 分钟verl 的数据、奖励、多轮 Agent 与 VLM
说明训练数据 schema、reward 管理、多轮 token mask、工具调用、VLM 和 LoRA。
-
08
Jul 26, 2026 约 7 分钟verl 配置方法与真实训练场景
从 Hydra 配置树、batch 约束和 trainer.v1 异步旋钮出发,给出数学、代码、Agent 与大模型训练方案。
-
09
-
10
Jul 26, 2026 约 4 分钟如何扩展 verl:算法、Reward、模型与后端
梳理新增 estimator、reward、模型、rollout、AgentLoop、训练后端与自定义 sampler 的扩展入口。
-
11
-
12
-
13
Jul 26, 2026 约 10 分钟verl 进阶能力与版本边界
辨析 V1、fully async、rollout correction、蒸馏、checkpoint 与确定性的真实边界(2026-08 基线)。
-
14
Jul 26, 2026 约 6 分钟verl 实战:从训练数据到 Hugging Face 模型导出
串联数据准备、dry-run、smoke test、正式训练、checkpoint、合并与离线验证。
-
15
Aug 14, 2026 约 27 分钟2025–2026 大厂面试真题与热点精讲:verl 与 LLM RL
字节、阿里、快手、腾讯、百度真题逐题精讲,加训推不一致、异步 RL、Agentic RL 三大热点专题。
-
16
Aug 14, 2026 约 12 分钟两个 verl 修复 PR 的完整拆解:#7150 与 #7151
从框架链路、bug 成因、修复取舍到验证纪律,拆解我提交给 verl 的两个正确性修复 PR。