文章
大模型强化学习岗位地图与学习入口
从 2025—2026 公开岗位和面经出发,区分后训练、Reasoning RL、Agentic RL 与 RL 系统岗位,并给出零基础优先级。
专题 大模型强化学习:从零到面试 第 1 篇 / 共 14 篇
1. 你真正要准备的是哪一种 RL 岗
2026 年招聘里,“大模型强化学习”至少分成三类。岗位名称相近,日常工作和面试重心却不同。
| 岗位 | 主要产出 | 高频能力 | 典型追问 |
|---|---|---|---|
| 后训练/效果算法 | 模型能力、对齐、推理与任务成功率 | 数据、reward、PPO/DPO/GRPO、评测、实验 | 为什么选 RL;reward 如何防作弊;全对全错怎么办 |
| Reasoning RL/RLVR | 数学、代码、搜索等可验证推理 | verifier、采样、课程学习、token 效率、稳定性 | GRPO/DAPO/GSPO;长度膨胀;是否学到新能力 |
| Agentic RL | 多轮工具调用和长程任务 | 环境、状态、轨迹、过程奖励、credit、容错 | tool response 是否算 loss;失败轨迹如何归因;何时终止 |
| RL Infra/系统 | 高吞吐、稳定、可扩展训练平台 | rollout、权重同步、FSDP/Megatron、Ray、vLLM/SGLang | policy lag;partial rollout;长尾请求;colocation |
官方岗位也体现了这种分化:字节 Seed 2027 校招公开列出 Code Agent RL、Multi-Agent RL 和 RL Scaling;小红书 Post-training 岗同时覆盖 Reward Model、Reasoning 和 Agentic RL;滴滴岗位把垂域 Agent、reward 与 PPO/GRPO 放在同一条闭环中;阿里国际的 Agentic RL 系统实习则直接要求处理分布式、partial rollout 与训练稳定性。字节 Seed、小红书岗位、滴滴岗位、阿里岗位
对零经验者的现实建议
第一目标不是同时成为四类专家,而是建立一个 T 型结构:
- 横向能回答经典 RL、PPO/DPO/GRPO、奖励与训练指标;
- 纵向选择“效果算法”或“Agentic RL”之一做可运行项目;
- RL Infra 先达到会画数据流、会解释性能瓶颈,不把自己包装成系统专家。
2. 2026 面试已经问到什么深度
以下只表示这些公开复盘声称问过,不代表公司固定题库。
| 样本 | 公开问题信号 | 对应章节 |
|---|---|---|
| 百度 RL 后训练一面,2026-03-18 | trust region、on-policy、importance sampling、clip 正负 advantage、GAE、GRPO 聚合、变体、Agentic RL | 03、04、06、07 |
| 百度文心后训练二面,2026-03-20 | GRPO 数据流、KL/softmax 数值稳定、policy/old/rollout、batch 大导致 policy lag、TRL/verl、现场 SFT | 06、08、10 |
| 字节 27 届暑期一面 | Agent 过程奖励、trajectory 到 token、rollout 长尾、DAPO 聚合、MoE 路由与 GSPO | 06、07、08 |
| 腾讯大模型算法二面 | PPO/GRPO/DAPO、critic baseline、rollout 与连续奖励 | 04、06 |
| 蔚来 RL 实习一面,2026-03-16 | PPO/GRPO 公式与流程、TRL/verl/Ray、Agentic RL 稀疏奖励和工具稳定性 | 04、06、07、08 |
| 滴滴算法实习,页面 2026-06-21 | 全对全错 group、课程学习、reward/KL/clip fraction、trajectory-token gap、业务 reward | 06、07、08 |
| 腾讯 WXG 大模型(单轮 2.5h) | 手撕 PPO 与 AdamW、MDP 折扣阈值计算、SFT 参数量与显卡利用率口算、Q-learning vs DQN、bf16/fp16/fp32 | 01、02、04、09、10 |
| 阿里大模型一面 GRPO 深挖 | GRPO loss 逐项解释、clip ε 取值来历、Reward Hacking 应对、组内信用分配 | 06、09 |
| 阿里云 AI Infra / Agentic RL 一面,2026-08-23 | OPD 过滤、process/outcome reward、双层多轮 reward、user simulator 过拟合、转真人/A-B 评测、verl AgentLoop | 06、07、08、09、12 |
| 阿里云 Agent 算法一面,2026-08-27 | 项目验证、Agent Loop、Harness 权限/安全、长程早停;候选人没做大规模 RL 就没有硬追 | 07、09;证明真实项目边界优先于背术语 |
| AgentGuide 公司案例集(汇编级) | RM vs critic、KL 的 k1/k2/k3、交叉熵 vs KL、GRPO×MoE、SFT vs RL 选型、rollout 与卡数、拒绝采样、FC 过程奖励 | 04、05、06、08、09 |
这批样本给出五个稳定的准备结论:
- 公式不是终点:面试官会把公式中的每个角色映射到实际模型、版本和张量。
- 传统 RL 基础重新重要:GAE、importance sampling、on/off-policy、baseline 已重新进入一面。
- GRPO 必须讲失败:零方差 group、长度偏置、reward hacking、policy lag、MoE 训推不一致。
- Agent RL 是真正的序列决策:状态转移、环境反馈和 credit assignment 不能用单轮偏好学习敷衍。
- 代码仍然存在:除了 LeetCode,还可能手写 KL、DPO/GRPO 数据流、SFT mask 或训练循环。
- 追问已进深水区(2026-08 增量确认):KL 的 k1/k2/k3 估计器、DeepSeek R1 四阶段管线、MoE 训推不一致、现场算折扣阈值/参数量这类”计算层”问题开始成批出现,只背名词接不住第二轮追问。对应详解见 04/06 章增量小节与题库 46–70。
- 8.23 信号是“信用粒度继续变细”:新论文分别处理多 reward 饱和、prompt 组梯度冲突、推理 span 的教师冲突、Agent transition 与路径拓扑;腾讯 27 秋招一面已直接问 Agent 与固定 Pipeline 的边界。对应 12 章 §5 与题库 71–76,优先学统一坐标,不背方法名。
- 8.29 信号是先判断“RL 有没有可学信号”:base policy 对目标行为没有 support 时,直接加 GRPO steps 很可能无效;有信号后再区分 reward evidence、credit transport 和 update geometry;judge reward 还要用负例校准防止 false positive。对应 12 章 §6 与题库 77–79。
- 前沿方向已入题(扩大检索确认):多模态可验证奖励(Visual-RFT 类)、熵坍缩机制、“RLVR 是否扩展能力”开放题、异步 RL 系统与 RL Scaling 在头部团队面试中出现。CV/检测背景候选人重点读 12 章 §1——它是把你原领域指标(IoU/PRO/AUROC)直接变成 RL 奖励叙事的桥。
3. 从经典 RL 到 LLM RL 的映射
| 经典 RL 概念 | 语言模型中的对应物 |
|---|---|
| state | prompt 与已生成 token;Agent 中还包括工具返回和外部状态 |
| action | 下一个 token;也可把一轮工具调用视为高层 action |
| policy | 自回归语言模型 |
| trajectory | 一段回答,或多轮 reasoning/tool/observation 序列 |
| environment | tokenizer 之后的生成过程;Agent 中是搜索、代码沙箱、数据库或用户模拟器 |
| reward | RM 分数、规则 verifier、单测、最终任务状态、过程评估 |
| value | 从当前前缀继续生成的期望回报 |
| episode end | EOS、任务成功/失败、超时、步数或预算耗尽 |
单轮回答常可近似 contextual bandit:prompt 是 context,一整条回答可视为一个宏观 action,末尾得到奖励。但 token 级优化仍使用整条回答的 log-prob;多轮 Agent 更不能忽略环境转移。
4. 你不需要先学什么
面向 LLM 后训练,以下内容不是第一个月的主线:
- 连续控制中 DDPG/TD3/SAC 的全部工程细节;
- 机器人动力学和 model-based control;
- 多智能体博弈论完整理论;
- 每一个 2026 年新缩写的论文细节。
但 Q-learning、replay buffer、target network 仍要理解,因为它们帮助你回答 on/off-policy、数据复用和 DQN,也会出现在 RL Infra 岗位描述中。
5. 学习闭环
每章用同一套六步法:
- 用一句话说明算法解决什么问题;
- 写出数据从哪里来;
- 写目标函数并逐符号解释;
- 用一个两步或三 token 数值例子计算;
- 说一个失败模式和一个监控指标;
- 从空文件写核心函数并测试。
如果一章只做到“看懂”,不算完成。面试要求的是从问题到公式、数据流、实现、异常和取舍的完整链路。
原始讲义与可运行材料:GitHub 源文件。