专题

大模型强化学习:从零到面试

面向无强化学习项目经验的系统课程:从 MDP、策略梯度和 GAE,到 PPO、DPO、GRPO、Agentic RL、训练排障、手写实验与 30 天冲刺。

共 14 篇,按顺序阅读。

这套专题服务于大模型后训练、Reasoning RL/RLVR、Agentic RL 和 RL 训练系统岗位。它不会从 PPO 缩写开始堆名词,而是先建立经典强化学习的共同语言,再把语言模型写成策略、把生成写成轨迹、把奖励写成可检查的数据流。

建议从第 1 篇按顺序学习。每章用“定义 → 公式 → 数值直觉 → 工程故障 → 面试追问”组织;后半部分提供 79 张实录与前沿答案卡、零依赖手写代码、自动测试、60 道 LeetCode 日历和一个月项目计划。2026-09-08 前沿章新增三篇论文审计案例:训练与推理搜索的贡献、确定性奖励与数据泄漏、Agent 必须条件和无解评测。它们属于扩展阅读,79 张评分卡与基础学习主线保持不变。

三种使用方式

  • 第一次系统学习:严格按 1~14 的顺序,每天完成公式手推、代码和口述验收。
  • 两周面试补缺:优先读第 1、4~10 篇,再做第 11 篇的手写测试。
  • Agent/RL 岗定向准备:重点读第 7~10 篇与第 13 篇(前沿专题),并完成一个可重放的工具环境实验。
  • CV/多模态背景转型:先读第 13 篇的多模态 RL 一节——把检测/异常检测指标翻译成可验证奖励,是原领域经验最顺的 RL 叙事入口。

技术结论以原论文、官方实现与框架文档为主;2025—2026 公开面经只用于判断考查范围。最后一篇保留完整来源与证据等级,方便继续核验和更新。

篇目

  1. 01

    Aug 13, 2026 约 7 分钟

    大模型强化学习岗位地图与学习入口

    从 2025—2026 公开岗位和面经出发,区分后训练、Reasoning RL、Agentic RL 与 RL 系统岗位,并给出零基础优先级。

  2. 02

    Aug 13, 2026 约 5 分钟

    强化学习数学地基与 MDP

    用概率、期望、log-derivative trick、return、value 与 Bellman 方程建立大模型 RL 的共同语言。

  3. 03

    Aug 13, 2026 约 5 分钟

    从 Monte Carlo、TD 到 Q-learning

    系统理解 bootstrap、TD error、SARSA、Q-learning、探索与价值学习,再连接到 LLM 的 critic 和 advantage。

  4. 04

    Aug 13, 2026 约 5 分钟

    策略梯度、Actor-Critic 与 GAE

    从 REINFORCE 推导到 baseline、Actor-Critic、GAE 和 importance sampling,为 PPO 打牢公式与数值直觉。

  5. 05

    Aug 13, 2026 约 9 分钟

    RLHF 与 PPO:从四模型数据流到训练指标

    拆解 actor、critic、reference 与 reward model,分优势正负解释 PPO clip,覆盖 KL 的 k1/k2/k3 估计器、“KL 能否换交叉熵”与训练排障。

  6. 06

    Aug 13, 2026 约 9 分钟

    Reward Model、DPO 与偏好学习

    从 Bradley–Terry 到 DPO 推导,解释 beta、reference、长度偏置与训练退化,附拒绝采样与 IPO/KTO/ORPO/SimPO 家族取舍。

  7. 07

    Aug 13, 2026 约 14 分钟

    GRPO、RLVR 与新方法坐标系

    组内相对优势、结构性失败、DeepSeek R1 四阶段管线、MoE 训推不一致机制,以及 DAPO/GSPO/CISPO/OPD 六轴坐标系。

  8. 08

    Aug 13, 2026 约 9 分钟

    Agentic RL 与多轮工具调用

    从多轮 MDP、轨迹 schema、loss mask、六种信用分配(含 GiGPO 锚点状态分组)到异步 rollout、环境设计和安全。

  9. 09

    Aug 13, 2026 约 8 分钟

    大模型 RL 训练系统、指标与排障

    梳理 rollout 与 trainer 数据流、并行和显存、TRL/verl/slime/OpenRLHF/AReaL/ROLL 选型,以及八类高频故障诊断。

  10. 10

    Aug 13, 2026 约 40 分钟

    大模型强化学习面经:79 张答案卡

    按 2025—2026 公开实录归纳:经典 RL、PPO/DPO/GRPO、R1 管线、MoE、Agentic RL、系统与 8 月前沿,配两轮追问与评分标准。

  11. 11

    Aug 13, 2026 约 5 分钟

    强化学习手写练习与递进实验

    闭卷实现 return、GAE、PPO、DPO、GRPO,配数值题、自动测试和从 GridWorld 到小模型 RL 的项目设计。

  12. 12

    Aug 13, 2026 约 8 分钟

    大模型强化学习 30 天学习与项目计划

    每天安排 RL 主线、公式手写、项目、面经口述和两道 LeetCode,月底形成可展示的训练闭环。

  13. 13

    Aug 13, 2026 约 25 分钟

    多模态 RL、奖励模型前沿与 RL Scaling

    Visual-RFT、DeepSeek-GRM、RLVR 边界与 ScaleRL,并系统讲解多奖励饱和、组梯度冲突、OPD 过滤和 Agent 信用分配。

  14. 14

    Aug 13, 2026 约 12 分钟

    大模型强化学习资料与面经来源索引

    汇总经典论文、2025—2026 新方法、官方框架、岗位页面和候选人面经,并说明证据等级与使用边界。