文章

大模型强化学习资料与面经来源索引

汇总经典论文、2025—2026 新方法、官方框架、岗位页面和候选人面经,并说明证据等级与使用边界。

2026年8月13日 更新于 2026年9月8日 约 12 分钟

专题 大模型强化学习:从零到面试 第 14 篇 / 共 14 篇

检索截止:2026-08-29。技术结论优先使用论文、官方博客和官方文档;面经只用于判断“考什么”,不作为算法事实的唯一依据。

1. 检索方法

本专题按九条工作流检索:经典 RL、RLHF/PPO、偏好学习/DPO、GRPO/RLVR、新方法、Agentic RL、训练框架、官方岗位、候选人面经。8.13 首轮与 8.14–8.23 第二轮共返回约 850 条候选结果;8.24–8.29 第三轮只做增量检索与原始页面复核,不再用返回量制造“覆盖率”。不同轮次大量重合,正文必须去重后再按以下规则筛选:

  1. 同一论文优先论文主页/官方仓库;
  2. 技术实现优先框架官方文档;
  3. 招聘要求优先公司官方招聘页;
  4. 面经优先候选人第一人称、题目具体且时间可定位的帖子;
  5. 搬运、卖课、仅搜索摘要或日期冲突的材料降级;
  6. 未找到公开材料不等于公司没有招聘或没有问过该题。

面经证据等级:

  • B:公开候选人亲历,时间/岗位/题目至少两项明确;
  • B-:疑似亲历但账号偏整理、正文不完整或时间不够明确;
  • 线索:二手汇总、付费墙摘要或媒体转述,只用于扩大检索,不据此断言频率。

2. 经典强化学习与策略优化

来源类型本专题用途
Sutton & Barto, Reinforcement Learning: An Introduction教材/官方出版页MDP、value、MC、TD、控制、策略梯度的主教材
OpenAI Spinning Up: Key Concepts in RL官方教程零基础概念与术语
Policy Gradient Theorem原始论文策略梯度理论来源
Generalized Advantage Estimation原始论文GAE、偏差—方差
Proximal Policy Optimization Algorithms原始论文PPO clipped objective
Spinning Up: PPO官方教程PPO 伪代码、超参与直觉

3. LLM 对齐、偏好学习与 Reasoning RL

来源类型本专题用途
InstructGPT原始论文SFT→RM→PPO 的经典 RLHF pipeline
Direct Preference Optimization原始论文DPO 推导、reference 与隐式 reward
Let’s Verify Step by Step原始论文Outcome/Process supervision 与 PRM
DeepSeekMath原始论文GRPO 的代表性来源
DeepSeek-R1 官方仓库官方仓库/报告入口reasoning RL、RLVR 与公开模型说明
DAPO原始论文Clip-Higher、动态采样、token loss、overlong shaping
DAPO 官方实现官方仓库配置和实现对照
GSPO原始论文sequence-level policy optimization
Qwen GSPO 官方解读官方博客GSPO 动机与 MoE 稳定性
On-Policy Distillation研究机构官方博客学生 on-policy 采样 + 教师稠密监督
DeepSeek-R1 论文原始论文R1-Zero 规则奖励、R1 四阶段管线、蒸馏 vs RL 结论
R1 论文中文精译译文四阶段细节中文对照
Approximating KL Divergence(Schulman)原始博客k1/k2/k3 估计器与偏差—方差实验
KL 估计器的 RL-for-LLM 解读技术博客k1/k2/k3 映射到 PPO/GRPO 场景
Rethinking KL Regularization in RLHF原始论文”k_n in reward” 与 “k_n as loss” 的梯度等价性分析
KL-Regularized Policy Gradient 设计原始论文正向/反向 KL、估计器与 surrogate 推导
MiniMax-M1原始论文CISPO:裁 IS 权重保 token 梯度
ms-swift CISPO 文档框架文档CISPO 损失与超参实现口径
MoE RL 稳定性研究原始论文router drift 与 off-policy 失配诊断
MoE RL 训推不一致综述(长琴)技术博客GSPO/GMPO、TIS/IcePop、Routing Replay 三类修复对照
DPO 家族取舍技术博客IPO/KTO/ORPO/SimPO 改哪条假设
SimPO 论文原始论文reference-free、长度归一化与目标 margin
Visual-RFT(官方仓库)原始论文/官方仓库视觉可验证奖励(IoU/CLS)与多模态 GRPO
熵机制论文(verl 配方)原始论文/框架配方熵坍缩协方差机制、R=−a·e^H+b、Clip-Cov/KL-Cov
RLVR 边界研究原始论文(NeurIPS 2025)pass@k 反超、采样效率视角、蒸馏对照
Reasoning Boundary Paradox原始论文负迁移与 winner-take-all 机制
Spurious Rewards 解读技术博客随机奖励增益、污染判别与验证方法
DeepSeek-GRM/SPCT原始论文生成式 RM、原则-批评-分数、推理时投票扩展
GiGPO(verl-agent)原始论文/官方仓库锚点状态分组的 step-level credit
AReaL(官方仓库)原始论文/官方仓库全异步系统、可中断 rollout、staleness-aware PPO
ROLL官方仓库/文档Ray 多角色、RewardWorker 奖励路由、StarPO/GiGPO
ScaleRL原始论文sigmoid 计算量—性能拟合、天花板/效率二分
SA-MRPO(2026-08-17)原始论文多奖励独立标准化、按目标饱和度重分配优化预算
GUPO(2026-08-18)原始论文prompt group gradient 冲突与不确定性加权聚合
R2-OPD(2026-08-19)原始论文教师蒸馏奖励与 reasoning progress 冲突时的 span 级过滤
CompPO/CCT(2026-08-21)原始论文/新预印本evidence、credit transport、update geometry 三分法;architecture-aware transport 与 constant/shuffle/position controls
Demystifying RL Post-Training(2026-08-24)原始论文/代码入口base-policy support、prompt distribution、reward granularity 与 spurious reward 的交互
Training Alignment Auditors via RL(2026-08-26)原始论文/新预印本pairwise judge reward、无隐藏行为负例、false-positive 校准
Unsupervised Post-Training Survey(EMNLP 2026 Findings)综述80 类严格 UPT 方法;内部信号来源与递归放大错误风险

阅读新方法时不背“方法动物园”,统一比较:baseline/advantage、importance ratio 粒度、KL、reduction、采样分布、解决的失败模式和新增代价。

4. Agentic RL

来源类型本专题用途
Search-R1原始论文搜索工具交互与 reasoning RL
Search-R1 官方仓库官方仓库环境与训练实现
RAGEN原始论文多轮 Agent RL 框架与稳定性
RAGEN 官方仓库官方仓库rollout/environment 实现
ARPO原始论文多轮 Agent 的分支探索与优化
ARPO 官方仓库官方仓库训练代码与配置
Agent-R1官方仓库端到端 Agent RL 训练参考
Agent Lightning 教程官方文档将已有 Agent 轨迹接入 RL
TRCA(2026-08-17)原始论文成功轨迹稀缺时,Evidence/Execution/Invalidity 转移 rubric 与 step credit
DART-SD(2026-08-19)原始论文交互状态图、关键拓扑断点、只蒸馏恢复后缀并保护有效前缀

5. 训练框架官方文档

来源重点阅读
TRL DPO TrainerDPO 数据格式、loss 变体、监控指标
TRL PPO TrainerPPO API 与模型角色
TRL GRPO Trainergroup sampling、reward functions、loss/reduction 配置
verl 文档worker、resource pool、rollout/trainer 编排
verl PPOPPO 配置与实现语义
verl GRPOGRPO 配置与实现语义
slime 文档训练—生成解耦与大规模 RL
slime Agent 指南自定义 Agent rollout
OpenRLHF 文档分布式 RLHF 与 Ray 编排

框架会持续更新,实际使用前应以当前官方文档和安装版本为准。

6. 2026 岗位需求样本

这些页面用于验证岗位方向,不用于推断招聘名额或截止时间;投递前必须再次打开官方页面确认。

公司/来源公开信号
字节 Seed 2027 Early CareerCode Agent RL、Multi-Agent RL、RL Scaling 等方向
字节 Seed 2027 校招公告基础模型校招与实习入口
阿里巴巴 2027 校招职位大模型算法岗位官方 JD 样本
阿里大模型多模态后训练实习后训练/多模态方向 JD 样本
小红书校园招聘职位大模型算法相关官方职位样本
滴滴社会招聘职位大模型/Agent 相关职位样本
快手 2027 秋招大模型/音视频/推荐等岗位;部分技术岗明确增加 AI Coding
天猫技术 Agent 算法工程师企业职位页;RAG/Memory/MCP/Skills、SFT/DPO/GRPO、Agentic RL、trajectory、autorater、A/B、安全与成本闭环
百度 AIDU 大模型算法 J99938官方 JD;SFT/RLHF、MoE/Latent Attention、投机推理与训练—推理协同
百度 AIDU Agent 算法 J99969官方 JD;规划/工具/反思、RAG、Agent 评测与 PPO/DPO 加分项

岗位页面可能下线或调整,因此专题正文只提炼能力维度,不硬编码长期有效的 HC、薪资或截止日期。

7. 2025–2026 公开面经样本

公司/岗位时间证据可核验考点
百度大模型后训练一面2026-03Btrust region、PPO clip、on-policy、IS、GAE、GRPO、DAPO/GSPO/GFPO、Agentic RL、分布式显存
百度大模型后训练二面2026-03BGRPO 数据流、KL/softmax 稳定性、四种 policy、policy lag、TRL/verl
字节 Agentic RL 面经2026Bprocess scoring、trajectory→token、rollout 长尾、DAPO、MoE route mismatch、GSPO
腾讯大模型 RL 面经2026B-PPO/GRPO/DAPO、critic baseline、连续 reward
蔚来大模型 RL 面经2026-03BPPO/GRPO 公式与流程、TRL/verl/Ray、Agentic RL 稀疏奖励与工具可靠性
滴滴大模型 RL 面经2026-06B-全对/全错组、curriculum、reward/KL/clipfrac、trajectory-token gap
快手大模型算法一面2026-04BDPO 数据分布、beta、GRPO 公式、old/current policy
B 站大模型二面2025-09BDPO 理论、beta、PPO 稀疏奖励、on/off-policy
vivo 多模态大模型2026-04B-reward 设计、GRPO IS、KL、reward hacking、多轮任务训练
携程大模型算法2026-03BPPO/DPO/GRPO、critic、KL 发散排障
荣耀大模型算法2026-04BRL reward、GRPO/PPO、训练显存与并行
小鹏多模态大模型2026-03BPPO/GRPO/GSPO/DAPO、投机/拒绝采样、多模态
腾讯 WXG 大模型暑期2026B(转载于汇总帖)手撕 PPO/AdamW、MDP 折扣阈值、SFT 参数量与显卡利用率、Q-learning vs DQN
阿里大模型一面 GRPO 深挖2026B-GRPO loss 逐项、clip ε、reward hacking 应对、信用分配
腾讯 27 秋招大模型算法一面2026-08(页面相对日期)B-/日期弱Agent vs Pipeline、PPO/DPO/GRPO/DAPO、DPO/GRPO 公式、感知规划执行反思、LIS
百度 Agent 方向大模型研发一面面试 2026-08-18,发帖 08-25BPrompt→Context→Harness、上下文压缩、团队 RAG、Coding Agent、树遍历
阿里云 Agent 算法一面2026-08-27B项目验证、Agent Loop、Harness 权限/安全、长程早停;无大规模 RL 经历则未硬问
淘天 Agent 算法一面2026-08-27B-/页面不稳定数据诊断、任务构造、trajectory 验证、mid-train vs post-train、何时值得训练模型
阿里云 AI Infra / Agentic RL 一面面试 2026-08-23BOPD 过滤、process/outcome reward、多轮双层 reward、user simulator、转真人/A-B、verl AgentLoop
AgentGuide 公司案例集持续更新线索(汇编)RM vs critic、k1/k2/k3、GRPO×MoE、SFT vs RL、rollout 与卡数、FC 过程奖励
美团 GRPO 面经解析(面试大师)2026线索(站方撰写答案)GRPO loss 计算、训练数据组织字段、禁止跨 prompt 归一化
MoonOut RL 八股问答(3)2026线索(个人整理)PPO/DPO/GRPO 三方对比、在线 vs 离线 RL 归属

面经使用限制

  • 帖子可能遗漏上下文、误写术语或混淆算法。例如“GRPO 的 GAE”应先确认面试官是否问对比,标准 GRPO 通常不训练 critic,也不使用 GAE。
  • 牛客页面的显示年份、搜索摘要和正文偶尔冲突;表中仅保留能合理定位到检索窗口的样本,日期不确定者已降级。
  • 题目出现一次只能证明“问过”,不能证明“所有公司高频”。专题中的优先级来自多来源交集和岗位 JD,而非简单计数。

8. 继续更新时的模板

2026-09-08 原始论文增量

来源版本/日期用途与限制
Post-Training Language Models for Gold-Medal Performance in Coding Competitions首发 09.02,v2 09.04SFT/RL/GenCorrect 的阶段归因;非官方 IOI 参赛排名,本地未复现
Catalan text simplification with RL首发 09.04SARI 代理目标、源句分组切分、单次训练与跨语言结论边界
First Things First首发 09.04必须条件/偏好/无解;模型评分非纯规则 RLVR,总分上涨但无解子集可能下降

三篇对应前沿章 §7,不作为新面经计数。框架 release 的本轮检索未得到可确认的窗口内新正式版本;不把旧 release 或 main 分支提交包装成新发行版。

### 公司|岗位|轮次
- URL:
- 页面日期:
- 自述面试日期:
- 是否亲历:
- 题目原意:
- 对应知识章节:
- 证据等级:B / B- / 线索
- 备注:登录墙、搬运、日期冲突、岗位边界

新增算法资料时必须记录:要解决的失败模式、核心目标、与 GRPO/PPO 的真正差异、官方实现地址,以及是否已有独立复现。这样可以避免专题退化成只追新名词的列表。

原始讲义与可运行材料:GitHub 源文件。

本页目录