文章
大模型强化学习资料与面经来源索引
汇总经典论文、2025—2026 新方法、官方框架、岗位页面和候选人面经,并说明证据等级与使用边界。
专题 大模型强化学习:从零到面试 第 14 篇 / 共 14 篇
检索截止:2026-08-29。技术结论优先使用论文、官方博客和官方文档;面经只用于判断“考什么”,不作为算法事实的唯一依据。
1. 检索方法
本专题按九条工作流检索:经典 RL、RLHF/PPO、偏好学习/DPO、GRPO/RLVR、新方法、Agentic RL、训练框架、官方岗位、候选人面经。8.13 首轮与 8.14–8.23 第二轮共返回约 850 条候选结果;8.24–8.29 第三轮只做增量检索与原始页面复核,不再用返回量制造“覆盖率”。不同轮次大量重合,正文必须去重后再按以下规则筛选:
- 同一论文优先论文主页/官方仓库;
- 技术实现优先框架官方文档;
- 招聘要求优先公司官方招聘页;
- 面经优先候选人第一人称、题目具体且时间可定位的帖子;
- 搬运、卖课、仅搜索摘要或日期冲突的材料降级;
- 未找到公开材料不等于公司没有招聘或没有问过该题。
面经证据等级:
- B:公开候选人亲历,时间/岗位/题目至少两项明确;
- B-:疑似亲历但账号偏整理、正文不完整或时间不够明确;
- 线索:二手汇总、付费墙摘要或媒体转述,只用于扩大检索,不据此断言频率。
2. 经典强化学习与策略优化
| 来源 | 类型 | 本专题用途 |
|---|---|---|
| Sutton & Barto, Reinforcement Learning: An Introduction | 教材/官方出版页 | MDP、value、MC、TD、控制、策略梯度的主教材 |
| OpenAI Spinning Up: Key Concepts in RL | 官方教程 | 零基础概念与术语 |
| Policy Gradient Theorem | 原始论文 | 策略梯度理论来源 |
| Generalized Advantage Estimation | 原始论文 | GAE、偏差—方差 |
| Proximal Policy Optimization Algorithms | 原始论文 | PPO clipped objective |
| Spinning Up: PPO | 官方教程 | PPO 伪代码、超参与直觉 |
3. LLM 对齐、偏好学习与 Reasoning RL
| 来源 | 类型 | 本专题用途 |
|---|---|---|
| InstructGPT | 原始论文 | SFT→RM→PPO 的经典 RLHF pipeline |
| Direct Preference Optimization | 原始论文 | DPO 推导、reference 与隐式 reward |
| Let’s Verify Step by Step | 原始论文 | Outcome/Process supervision 与 PRM |
| DeepSeekMath | 原始论文 | GRPO 的代表性来源 |
| DeepSeek-R1 官方仓库 | 官方仓库/报告入口 | reasoning RL、RLVR 与公开模型说明 |
| DAPO | 原始论文 | Clip-Higher、动态采样、token loss、overlong shaping |
| DAPO 官方实现 | 官方仓库 | 配置和实现对照 |
| GSPO | 原始论文 | sequence-level policy optimization |
| Qwen GSPO 官方解读 | 官方博客 | GSPO 动机与 MoE 稳定性 |
| On-Policy Distillation | 研究机构官方博客 | 学生 on-policy 采样 + 教师稠密监督 |
| DeepSeek-R1 论文 | 原始论文 | R1-Zero 规则奖励、R1 四阶段管线、蒸馏 vs RL 结论 |
| R1 论文中文精译 | 译文 | 四阶段细节中文对照 |
| Approximating KL Divergence(Schulman) | 原始博客 | k1/k2/k3 估计器与偏差—方差实验 |
| KL 估计器的 RL-for-LLM 解读 | 技术博客 | k1/k2/k3 映射到 PPO/GRPO 场景 |
| Rethinking KL Regularization in RLHF | 原始论文 | ”k_n in reward” 与 “k_n as loss” 的梯度等价性分析 |
| KL-Regularized Policy Gradient 设计 | 原始论文 | 正向/反向 KL、估计器与 surrogate 推导 |
| MiniMax-M1 | 原始论文 | CISPO:裁 IS 权重保 token 梯度 |
| ms-swift CISPO 文档 | 框架文档 | CISPO 损失与超参实现口径 |
| MoE RL 稳定性研究 | 原始论文 | router drift 与 off-policy 失配诊断 |
| MoE RL 训推不一致综述(长琴) | 技术博客 | GSPO/GMPO、TIS/IcePop、Routing Replay 三类修复对照 |
| DPO 家族取舍 | 技术博客 | IPO/KTO/ORPO/SimPO 改哪条假设 |
| SimPO 论文 | 原始论文 | reference-free、长度归一化与目标 margin |
| Visual-RFT(官方仓库) | 原始论文/官方仓库 | 视觉可验证奖励(IoU/CLS)与多模态 GRPO |
| 熵机制论文(verl 配方) | 原始论文/框架配方 | 熵坍缩协方差机制、R=−a·e^H+b、Clip-Cov/KL-Cov |
| RLVR 边界研究 | 原始论文(NeurIPS 2025) | pass@k 反超、采样效率视角、蒸馏对照 |
| Reasoning Boundary Paradox | 原始论文 | 负迁移与 winner-take-all 机制 |
| Spurious Rewards 解读 | 技术博客 | 随机奖励增益、污染判别与验证方法 |
| DeepSeek-GRM/SPCT | 原始论文 | 生成式 RM、原则-批评-分数、推理时投票扩展 |
| GiGPO(verl-agent) | 原始论文/官方仓库 | 锚点状态分组的 step-level credit |
| AReaL(官方仓库) | 原始论文/官方仓库 | 全异步系统、可中断 rollout、staleness-aware PPO |
| ROLL | 官方仓库/文档 | Ray 多角色、RewardWorker 奖励路由、StarPO/GiGPO |
| ScaleRL | 原始论文 | sigmoid 计算量—性能拟合、天花板/效率二分 |
| SA-MRPO(2026-08-17) | 原始论文 | 多奖励独立标准化、按目标饱和度重分配优化预算 |
| GUPO(2026-08-18) | 原始论文 | prompt group gradient 冲突与不确定性加权聚合 |
| R2-OPD(2026-08-19) | 原始论文 | 教师蒸馏奖励与 reasoning progress 冲突时的 span 级过滤 |
| CompPO/CCT(2026-08-21) | 原始论文/新预印本 | evidence、credit transport、update geometry 三分法;architecture-aware transport 与 constant/shuffle/position controls |
| Demystifying RL Post-Training(2026-08-24) | 原始论文/代码入口 | base-policy support、prompt distribution、reward granularity 与 spurious reward 的交互 |
| Training Alignment Auditors via RL(2026-08-26) | 原始论文/新预印本 | pairwise judge reward、无隐藏行为负例、false-positive 校准 |
| Unsupervised Post-Training Survey(EMNLP 2026 Findings) | 综述 | 80 类严格 UPT 方法;内部信号来源与递归放大错误风险 |
阅读新方法时不背“方法动物园”,统一比较:baseline/advantage、importance ratio 粒度、KL、reduction、采样分布、解决的失败模式和新增代价。
4. Agentic RL
| 来源 | 类型 | 本专题用途 |
|---|---|---|
| Search-R1 | 原始论文 | 搜索工具交互与 reasoning RL |
| Search-R1 官方仓库 | 官方仓库 | 环境与训练实现 |
| RAGEN | 原始论文 | 多轮 Agent RL 框架与稳定性 |
| RAGEN 官方仓库 | 官方仓库 | rollout/environment 实现 |
| ARPO | 原始论文 | 多轮 Agent 的分支探索与优化 |
| ARPO 官方仓库 | 官方仓库 | 训练代码与配置 |
| Agent-R1 | 官方仓库 | 端到端 Agent RL 训练参考 |
| Agent Lightning 教程 | 官方文档 | 将已有 Agent 轨迹接入 RL |
| TRCA(2026-08-17) | 原始论文 | 成功轨迹稀缺时,Evidence/Execution/Invalidity 转移 rubric 与 step credit |
| DART-SD(2026-08-19) | 原始论文 | 交互状态图、关键拓扑断点、只蒸馏恢复后缀并保护有效前缀 |
5. 训练框架官方文档
| 来源 | 重点阅读 |
|---|---|
| TRL DPO Trainer | DPO 数据格式、loss 变体、监控指标 |
| TRL PPO Trainer | PPO API 与模型角色 |
| TRL GRPO Trainer | group sampling、reward functions、loss/reduction 配置 |
| verl 文档 | worker、resource pool、rollout/trainer 编排 |
| verl PPO | PPO 配置与实现语义 |
| verl GRPO | GRPO 配置与实现语义 |
| slime 文档 | 训练—生成解耦与大规模 RL |
| slime Agent 指南 | 自定义 Agent rollout |
| OpenRLHF 文档 | 分布式 RLHF 与 Ray 编排 |
框架会持续更新,实际使用前应以当前官方文档和安装版本为准。
6. 2026 岗位需求样本
这些页面用于验证岗位方向,不用于推断招聘名额或截止时间;投递前必须再次打开官方页面确认。
| 公司/来源 | 公开信号 |
|---|---|
| 字节 Seed 2027 Early Career | Code Agent RL、Multi-Agent RL、RL Scaling 等方向 |
| 字节 Seed 2027 校招公告 | 基础模型校招与实习入口 |
| 阿里巴巴 2027 校招职位 | 大模型算法岗位官方 JD 样本 |
| 阿里大模型多模态后训练实习 | 后训练/多模态方向 JD 样本 |
| 小红书校园招聘职位 | 大模型算法相关官方职位样本 |
| 滴滴社会招聘职位 | 大模型/Agent 相关职位样本 |
| 快手 2027 秋招 | 大模型/音视频/推荐等岗位;部分技术岗明确增加 AI Coding |
| 天猫技术 Agent 算法工程师 | 企业职位页;RAG/Memory/MCP/Skills、SFT/DPO/GRPO、Agentic RL、trajectory、autorater、A/B、安全与成本闭环 |
| 百度 AIDU 大模型算法 J99938 | 官方 JD;SFT/RLHF、MoE/Latent Attention、投机推理与训练—推理协同 |
| 百度 AIDU Agent 算法 J99969 | 官方 JD;规划/工具/反思、RAG、Agent 评测与 PPO/DPO 加分项 |
岗位页面可能下线或调整,因此专题正文只提炼能力维度,不硬编码长期有效的 HC、薪资或截止日期。
7. 2025–2026 公开面经样本
| 公司/岗位 | 时间 | 证据 | 可核验考点 |
|---|---|---|---|
| 百度大模型后训练一面 | 2026-03 | B | trust region、PPO clip、on-policy、IS、GAE、GRPO、DAPO/GSPO/GFPO、Agentic RL、分布式显存 |
| 百度大模型后训练二面 | 2026-03 | B | GRPO 数据流、KL/softmax 稳定性、四种 policy、policy lag、TRL/verl |
| 字节 Agentic RL 面经 | 2026 | B | process scoring、trajectory→token、rollout 长尾、DAPO、MoE route mismatch、GSPO |
| 腾讯大模型 RL 面经 | 2026 | B- | PPO/GRPO/DAPO、critic baseline、连续 reward |
| 蔚来大模型 RL 面经 | 2026-03 | B | PPO/GRPO 公式与流程、TRL/verl/Ray、Agentic RL 稀疏奖励与工具可靠性 |
| 滴滴大模型 RL 面经 | 2026-06 | B- | 全对/全错组、curriculum、reward/KL/clipfrac、trajectory-token gap |
| 快手大模型算法一面 | 2026-04 | B | DPO 数据分布、beta、GRPO 公式、old/current policy |
| B 站大模型二面 | 2025-09 | B | DPO 理论、beta、PPO 稀疏奖励、on/off-policy |
| vivo 多模态大模型 | 2026-04 | B- | reward 设计、GRPO IS、KL、reward hacking、多轮任务训练 |
| 携程大模型算法 | 2026-03 | B | PPO/DPO/GRPO、critic、KL 发散排障 |
| 荣耀大模型算法 | 2026-04 | B | RL reward、GRPO/PPO、训练显存与并行 |
| 小鹏多模态大模型 | 2026-03 | B | PPO/GRPO/GSPO/DAPO、投机/拒绝采样、多模态 |
| 腾讯 WXG 大模型暑期 | 2026 | B(转载于汇总帖) | 手撕 PPO/AdamW、MDP 折扣阈值、SFT 参数量与显卡利用率、Q-learning vs DQN |
| 阿里大模型一面 GRPO 深挖 | 2026 | B- | GRPO loss 逐项、clip ε、reward hacking 应对、信用分配 |
| 腾讯 27 秋招大模型算法一面 | 2026-08(页面相对日期) | B-/日期弱 | Agent vs Pipeline、PPO/DPO/GRPO/DAPO、DPO/GRPO 公式、感知规划执行反思、LIS |
| 百度 Agent 方向大模型研发一面 | 面试 2026-08-18,发帖 08-25 | B | Prompt→Context→Harness、上下文压缩、团队 RAG、Coding Agent、树遍历 |
| 阿里云 Agent 算法一面 | 2026-08-27 | B | 项目验证、Agent Loop、Harness 权限/安全、长程早停;无大规模 RL 经历则未硬问 |
| 淘天 Agent 算法一面 | 2026-08-27 | B-/页面不稳定 | 数据诊断、任务构造、trajectory 验证、mid-train vs post-train、何时值得训练模型 |
| 阿里云 AI Infra / Agentic RL 一面 | 面试 2026-08-23 | B | OPD 过滤、process/outcome reward、多轮双层 reward、user simulator、转真人/A-B、verl AgentLoop |
| AgentGuide 公司案例集 | 持续更新 | 线索(汇编) | RM vs critic、k1/k2/k3、GRPO×MoE、SFT vs RL、rollout 与卡数、FC 过程奖励 |
| 美团 GRPO 面经解析(面试大师) | 2026 | 线索(站方撰写答案) | GRPO loss 计算、训练数据组织字段、禁止跨 prompt 归一化 |
| MoonOut RL 八股问答(3) | 2026 | 线索(个人整理) | PPO/DPO/GRPO 三方对比、在线 vs 离线 RL 归属 |
面经使用限制
- 帖子可能遗漏上下文、误写术语或混淆算法。例如“GRPO 的 GAE”应先确认面试官是否问对比,标准 GRPO 通常不训练 critic,也不使用 GAE。
- 牛客页面的显示年份、搜索摘要和正文偶尔冲突;表中仅保留能合理定位到检索窗口的样本,日期不确定者已降级。
- 题目出现一次只能证明“问过”,不能证明“所有公司高频”。专题中的优先级来自多来源交集和岗位 JD,而非简单计数。
8. 继续更新时的模板
2026-09-08 原始论文增量
| 来源 | 版本/日期 | 用途与限制 |
|---|---|---|
| Post-Training Language Models for Gold-Medal Performance in Coding Competitions | 首发 09.02,v2 09.04 | SFT/RL/GenCorrect 的阶段归因;非官方 IOI 参赛排名,本地未复现 |
| Catalan text simplification with RL | 首发 09.04 | SARI 代理目标、源句分组切分、单次训练与跨语言结论边界 |
| First Things First | 首发 09.04 | 必须条件/偏好/无解;模型评分非纯规则 RLVR,总分上涨但无解子集可能下降 |
三篇对应前沿章 §7,不作为新面经计数。框架 release 的本轮检索未得到可确认的窗口内新正式版本;不把旧 release 或 main 分支提交包装成新发行版。
### 公司|岗位|轮次
- URL:
- 页面日期:
- 自述面试日期:
- 是否亲历:
- 题目原意:
- 对应知识章节:
- 证据等级:B / B- / 线索
- 备注:登录墙、搬运、日期冲突、岗位边界
新增算法资料时必须记录:要解决的失败模式、核心目标、与 GRPO/PPO 的真正差异、官方实现地址,以及是否已有独立复现。这样可以避免专题退化成只追新名词的列表。
原始讲义与可运行材料:GitHub 源文件。