1. 你真正要准备的是哪一种 RL 岗

2026 年招聘里,“大模型强化学习”至少分成三类。岗位名称相近,日常工作和面试重心却不同。

岗位主要产出高频能力典型追问
后训练/效果算法模型能力、对齐、推理与任务成功率数据、reward、PPO/DPO/GRPO、评测、实验为什么选 RL;reward 如何防作弊;全对全错怎么办
Reasoning RL/RLVR数学、代码、搜索等可验证推理verifier、采样、课程学习、token 效率、稳定性GRPO/DAPO/GSPO;长度膨胀;是否学到新能力
Agentic RL多轮工具调用和长程任务环境、状态、轨迹、过程奖励、credit、容错tool response 是否算 loss;失败轨迹如何归因;何时终止
RL Infra/系统高吞吐、稳定、可扩展训练平台rollout、权重同步、FSDP/Megatron、Ray、vLLM/SGLangpolicy lag;partial rollout;长尾请求;colocation

官方岗位也体现了这种分化:字节 Seed 2027 校招公开列出 Code Agent RL、Multi-Agent RL 和 RL Scaling;小红书 Post-training 岗同时覆盖 Reward Model、Reasoning 和 Agentic RL;滴滴岗位把垂域 Agent、reward 与 PPO/GRPO 放在同一条闭环中;阿里国际的 Agentic RL 系统实习则直接要求处理分布式、partial rollout 与训练稳定性。字节 Seed、小红书岗位、滴滴岗位、阿里岗位

对零经验者的现实建议

第一目标不是同时成为四类专家,而是建立一个 T 型结构:

  • 横向能回答经典 RL、PPO/DPO/GRPO、奖励与训练指标;
  • 纵向选择“效果算法”或“Agentic RL”之一做可运行项目;
  • RL Infra 先达到会画数据流、会解释性能瓶颈,不把自己包装成系统专家。

2. 2026 面试已经问到什么深度

以下只表示这些公开复盘声称问过,不代表公司固定题库。

样本公开问题信号对应章节
百度 RL 后训练一面,2026-03-18trust region、on-policy、importance sampling、clip 正负 advantage、GAE、GRPO 聚合、变体、Agentic RL03、04、06、07
百度文心后训练二面,2026-03-20GRPO 数据流、KL/softmax 数值稳定、policy/old/rollout、batch 大导致 policy lag、TRL/verl、现场 SFT06、08、10
字节 27 届暑期一面Agent 过程奖励、trajectory 到 token、rollout 长尾、DAPO 聚合、MoE 路由与 GSPO06、07、08
腾讯大模型算法二面PPO/GRPO/DAPO、critic baseline、rollout 与连续奖励04、06
蔚来 RL 实习一面,2026-03-16PPO/GRPO 公式与流程、TRL/verl/Ray、Agentic RL 稀疏奖励和工具稳定性04、06、07、08
滴滴算法实习,页面 2026-06-21全对全错 group、课程学习、reward/KL/clip fraction、trajectory-token gap、业务 reward06、07、08
腾讯 WXG 大模型(单轮 2.5h)手撕 PPO 与 AdamW、MDP 折扣阈值计算、SFT 参数量与显卡利用率口算、Q-learning vs DQN、bf16/fp16/fp3201、02、04、09、10
阿里大模型一面 GRPO 深挖GRPO loss 逐项解释、clip ε 取值来历、Reward Hacking 应对、组内信用分配06、09
阿里云 AI Infra / Agentic RL 一面,2026-08-23OPD 过滤、process/outcome reward、双层多轮 reward、user simulator 过拟合、转真人/A-B 评测、verl AgentLoop06、07、08、09、12
阿里云 Agent 算法一面,2026-08-27项目验证、Agent Loop、Harness 权限/安全、长程早停;候选人没做大规模 RL 就没有硬追07、09;证明真实项目边界优先于背术语
AgentGuide 公司案例集(汇编级)RM vs critic、KL 的 k1/k2/k3、交叉熵 vs KL、GRPO×MoE、SFT vs RL 选型、rollout 与卡数、拒绝采样、FC 过程奖励04、05、06、08、09

这批样本给出五个稳定的准备结论:

  1. 公式不是终点:面试官会把公式中的每个角色映射到实际模型、版本和张量。
  2. 传统 RL 基础重新重要:GAE、importance sampling、on/off-policy、baseline 已重新进入一面。
  3. GRPO 必须讲失败:零方差 group、长度偏置、reward hacking、policy lag、MoE 训推不一致。
  4. Agent RL 是真正的序列决策:状态转移、环境反馈和 credit assignment 不能用单轮偏好学习敷衍。
  5. 代码仍然存在:除了 LeetCode,还可能手写 KL、DPO/GRPO 数据流、SFT mask 或训练循环。
  6. 追问已进深水区(2026-08 增量确认):KL 的 k1/k2/k3 估计器、DeepSeek R1 四阶段管线、MoE 训推不一致、现场算折扣阈值/参数量这类”计算层”问题开始成批出现,只背名词接不住第二轮追问。对应详解见 04/06 章增量小节与题库 46–70。
  7. 8.23 信号是“信用粒度继续变细”:新论文分别处理多 reward 饱和、prompt 组梯度冲突、推理 span 的教师冲突、Agent transition 与路径拓扑;腾讯 27 秋招一面已直接问 Agent 与固定 Pipeline 的边界。对应 12 章 §5 与题库 71–76,优先学统一坐标,不背方法名。
  8. 8.29 信号是先判断“RL 有没有可学信号”:base policy 对目标行为没有 support 时,直接加 GRPO steps 很可能无效;有信号后再区分 reward evidence、credit transport 和 update geometry;judge reward 还要用负例校准防止 false positive。对应 12 章 §6 与题库 77–79。
  9. 前沿方向已入题(扩大检索确认):多模态可验证奖励(Visual-RFT 类)、熵坍缩机制、“RLVR 是否扩展能力”开放题、异步 RL 系统与 RL Scaling 在头部团队面试中出现。CV/检测背景候选人重点读 12 章 §1——它是把你原领域指标(IoU/PRO/AUROC)直接变成 RL 奖励叙事的桥。

3. 从经典 RL 到 LLM RL 的映射

经典 RL 概念语言模型中的对应物
state sts_tprompt 与已生成 token;Agent 中还包括工具返回和外部状态
action ata_t下一个 token;也可把一轮工具调用视为高层 action
policy πθ\pi_\theta自回归语言模型
trajectory τ\tau一段回答,或多轮 reasoning/tool/observation 序列
environmenttokenizer 之后的生成过程;Agent 中是搜索、代码沙箱、数据库或用户模拟器
reward rtr_tRM 分数、规则 verifier、单测、最终任务状态、过程评估
value V(st)V(s_t)从当前前缀继续生成的期望回报
episode endEOS、任务成功/失败、超时、步数或预算耗尽

单轮回答常可近似 contextual bandit:prompt 是 context,一整条回答可视为一个宏观 action,末尾得到奖励。但 token 级优化仍使用整条回答的 log-prob;多轮 Agent 更不能忽略环境转移。

4. 你不需要先学什么

面向 LLM 后训练,以下内容不是第一个月的主线:

  • 连续控制中 DDPG/TD3/SAC 的全部工程细节;
  • 机器人动力学和 model-based control;
  • 多智能体博弈论完整理论;
  • 每一个 2026 年新缩写的论文细节。

但 Q-learning、replay buffer、target network 仍要理解,因为它们帮助你回答 on/off-policy、数据复用和 DQN,也会出现在 RL Infra 岗位描述中。

5. 学习闭环

每章用同一套六步法:

  1. 用一句话说明算法解决什么问题;
  2. 写出数据从哪里来;
  3. 写目标函数并逐符号解释;
  4. 用一个两步或三 token 数值例子计算;
  5. 说一个失败模式和一个监控指标;
  6. 从空文件写核心函数并测试。

如果一章只做到“看懂”,不算完成。面试要求的是从问题到公式、数据流、实现、异常和取舍的完整链路。

原始讲义与可运行材料:GitHub 源文件。