适用对象:没有强化学习项目经验,但已有 Python、深度学习和 Transformer 基础。默认工作日 3~3.5 小时、周末 5~6 小时。时间不足时保留 P0 项,先删扩展论文。

2026-09-08 续学:8.23 起连续执行者为 D17,8.29 起连续执行者为 D11。未通过的验收优先补齐;不要因为文档更新重新从 D1 开始。与总冲刺计划共用力扣题、手写和口述时间:同一道题只记一次成绩。新论文属于扩展阅读,不能挤掉 PPO/DPO/GRPO、GAE 与项目失败复盘。

1. 每天固定四个时间块

时间内容必须留下的产物
45~60 分钟LeetCode 2 题复杂度、错因、闭卷重写日期
75~90 分钟RL 主线学习一页自己的笔记,不复制原文
45~60 分钟公式/代码/项目可运行代码或手推过程
30 分钟面经口述与复盘录音或 3 分制评分

当天做不完时按“RL 主线 → 面经口述 → LeetCode 1 题 → 扩展阅读”排序。不要用熬夜补齐表格,第二天先修复最关键欠账。

2. 30 天日历

天RL 主线手写/项目LeetCode(2 题)当天验收
1专题导读、岗位地图、前测建错题表;跑单元测试1 两数之和;49 字母异位词分组能解释为什么 LLM 生成是 MDP
2概率、期望、梯度、log trick手推 softmax 与 log-softmax128 最长连续序列;283 移动零口述 log-derivative trick
3MDP、return、Bellman闭卷写 discounted return11 盛最多水的容器;15 三数之和做对含 terminal 的 return 数值题
4(V/Q/A)、策略评估写 Bellman expectation 小例子3 无重复字符最长子串;438 找到字符串中所有字母异位词区分 V、Q、A
5MC、TD、bootstrap闭卷写 TD target560 和为 K 的子数组;239 滑动窗口最大值说清偏差—方差
6SARSA、Q-learning、探索实现 5×5 GridWorld 骨架76 最小覆盖子串;42 接雨水区分 on/off-policy
7第一周复盘完成 GridWorld 对比曲线53 最大子数组和;56 合并区间经典 RL 题口述 ≥ 12/15 分
8Policy Gradient、REINFORCE闭卷推导并写 loss189 轮转数组;238 除自身以外数组的乘积从期望推到策略梯度
9baseline、Actor-Critic多臂老虎机 + 无 baseline73 矩阵置零;54 螺旋矩阵证明 baseline 不改期望
10GAE 与 (\lambda)闭卷写 GAE;跑边界测试48 旋转图像;160 相交链表8 分钟写对 GAE
11RLHF 全流程画 actor/critic/ref/RM 数据流206 反转链表;234 回文链表90 秒讲完整 RLHF
12PPO ratio 与 clip四种正负 advantage 数值题141 环形链表;142 环形链表 II不看答案解释 min
13PPO KL、entropy、value loss写 PPO loss;列指标21 合并两个有序链表;2 两数相加分清两类 KL
14PPO 系统与排障画显存和 worker 放置19 删除倒数第 N 个结点;24 两两交换节点第二周闭卷模拟 45 分钟
15偏好数据与 Reward Model写 pairwise RM loss25 K 个一组翻转链表;138 随机链表复制解释 Bradley–Terry
16DPO 推导闭卷写 DPO loss94 二叉树中序遍历;104 最大深度讲清 reference 与 beta
17DPO 数据、长度与退化做 chosen/rejected margin 实验226 翻转二叉树;101 对称二叉树回答“两者 logp 都降”
18GRPO 数据流与公式写 group advantage + mask102 层序遍历;543 二叉树直径分清四种 policy
19同分组、std、长度偏置构造 3 个失败 batch98 验证 BST;230 BST 第 K 小元素从指标定位无梯度
20DAPO、GSPO、RLVR比较 token/sequence reduction199 右视图;236 最近公共祖先每种方法只讲“问题→改法”
21第三周复盘闭卷写 PPO/DPO/GRPO200 岛屿数量;994 腐烂的橘子题库 A~E ≥ 75/93 分
22Agent MDP、轨迹与 mask设计检索 Agent schema207 课程表;208 Trie解释 tool response loss mask
23Agent reward 与信用分配写 outcome/process/cost verifier46 全排列;78 子集比较 4 种归因方法
24异步 rollout、policy lag模拟陈旧样本 ratio39 组合总和;22 括号生成讲清吞吐与偏差交换
25TRL/verl/slime/OpenRLHF用一个框架做 dry-run 或读数据流79 单词搜索;131 分割回文串能画所选框架 worker 图
26小模型 RL 项目:数据与基线数据去重、SFT baseline、verifier70 爬楼梯;198 打家劫舍baseline 与隐藏测试可复现
27小模型 RL 项目:训练rollout、GRPO、关键曲线322 零钱兑换;300 最长递增子序列能重放任一失败轨迹
28项目消融与失败复盘std/长度或 reward 两个消融1143 最长公共子序列;72 编辑距离写 1 页实验结论
29定向公司面经与项目表达百度/字节/阿里/目标公司模拟215 数组第 K 大;347 前 K 个高频元素3 分钟讲项目 + 追问
30全真模拟与查漏补缺90 分钟技术面 + 最终 README146 LRU;124 二叉树最大路径和题库 ≥202/237;P0 无 0 分

3. LeetCode 的正确复习方式

60 道题不是为了打卡数量。每题记录:

题号 / 模式 / 首次耗时 / 是否独立 AC
时间与空间复杂度
第一个错误假设
边界用例
第 2、7、14 天重写结果

复习优先级:

  1. 完全不会或思路错误;
  2. 能说但写不完整;
  3. 边界/复杂度出错;
  4. 已稳定 15 分钟内 AC。

同一道题连续两次稳定写对后降频。困难题 25 K 个一组翻转链表 和 124 最大路径和 不必追求一次闭卷 AC,但必须能解释递归状态和边界。

4. 每周里程碑

第 1 周:经典 RL 不再是黑箱

  • 能从 MDP 讲到 Q-learning;
  • discounted return、TD target 闭卷通过;
  • 有一份 GridWorld 对比曲线;
  • 完成 14 道 LeetCode。

第 2 周:打通 PPO

  • 90 秒讲清 RLHF 数据流;
  • 能手算 PPO clip 和 GAE;
  • 分清 old/reference/rollout/current;
  • 完成 28 道累计 LeetCode。

第 3 周:覆盖当前面经主线

  • 闭卷写 DPO 与 GRPO;
  • 能解释全同分、DAPO、GSPO、RLVR;
  • 前 31 张面试卡达到 2 分以上;
  • 完成 42 道累计 LeetCode。

第 4 周:有可展示的闭环

  • 小模型项目有 baseline、训练、独立评测和消融;
  • 能设计 Agentic RL 系统并讨论 policy lag;
  • 79 张卡总分不低于 202,P0 卡(含增量 46、49、51、52、55、57、76、77 及按岗位的 64/68/70/74/75)无 0 分;
  • 完成 60 道累计 LeetCode,并复写高频错题。

5. 项目最小可交付标准

月底不是“看完论文”,而是仓库里至少有:

rl-project/
├── README.md
├── configs/
├── data/README.md
├── src/
│   ├── rollout.py
│   ├── reward.py
│   ├── loss.py
│   └── evaluate.py
├── tests/
├── results/
│   ├── curves.png
│   └── failure_cases.md
└── report.md

README 必须回答:任务如何建模、为什么选算法、reward 是否可被钻空子、哪些 token 算 loss、训练异常怎么查、独立评测提升多少、失败在哪里。

6. 每周模拟面试模板

每次 45~60 分钟:

  1. 5 分钟自我介绍与项目;
  2. 15 分钟基础公式;
  3. 10 分钟方法对比与新论文;
  4. 10 分钟系统/排障场景;
  5. 15 分钟代码;
  6. 复盘每题 0~3 分,第二天只补最低分项。

第 30 天全真模拟改为 90 分钟,并强制包含:GAE 数值题、PPO clip、DPO/GRPO 手写、Agent 奖励设计、训练曲线排障和一题中等 LeetCode。

7. 时间不足时的压缩版

每天只有 2 小时时:

  • LeetCode 改为 1 题,优先链表、树、图、DP、高频手写;
  • 经典 RL 保留 MDP、value/advantage、policy gradient、GAE;
  • LLM RL 保留 PPO、DPO、GRPO、DAPO/GSPO;
  • Agent 保留轨迹、mask、reward、credit、policy lag;
  • 项目只做一个可验证任务,但必须有测试和失败分析;
  • 扩展论文只读摘要、方法图和实验局限。

不要删除口述与手写环节。被动阅读是最容易制造“好像会了”的部分。

原始讲义与可运行材料:GitHub 源文件。