建立日期:2026-08-13;最后增量:2026-09-08。§1 对接 CV/检测背景;§5 信用粒度、§6 可学习性与 judge 校准;§7 新增九月论文的阶段归因、奖励/切分审计与 Agent 约束案例。新预印本与实录题分开使用,先完成基础章节再阅读扩展。

1. 多模态 RL:把可验证奖励搬到视觉任务

1.1 Visual-RFT:R1 范式的第一次全面视觉迁移

Visual-RFT(ICCV 2025)把 DeepSeek-R1 的”规则可验证奖励 + GRPO”完整搬到视觉感知:以 Qwen2-VL-2B/7B 为底座,模型对每个图文输入采样 G 条带推理过程的回答,用任务特定的可验证奖励做组内对比更新,覆盖开放词表检测、少样本检测、推理定位(reasoning grounding)、细粒度分类。

IoU 奖励的设计(检测任务,值得背下细节):

  1. 模型输出若干 bbox 及置信度,按置信度排序;
  2. 逐一与 ground truth 匹配计算 IoU,低于阈值 τ\tau 记无效、未匹配记 0;
  3. 总奖励 RdR_d = IoU 项 + 置信度项(匹配上的框置信度应高)+ 格式项(输出结构合法)。

设计动机:数学题的奖励是 0/1,而检测天然有 IoU 这种连续、免费、和评测指标同源的质量度量——“把评测指标直接当奖励”是整篇工作的可迁移思想。分类任务则用类别对错(CLS 奖励)。

关键数字:one-shot 细粒度分类上 RFT +24.3%、同数据 SFT 反而 −4.3%(差 28.6 个点)——极少样本下”模仿范式”失效而”奖励范式”成立;开放词表检测能迁移到 LVIS 稀有类。

1.2 面试题:“多模态 RL 和文本 RL 有什么不同”

四个差异点足够撑起追问:

  1. 奖励可验证性反而更好:感知任务有几何/结构真值(IoU、mask 重叠、关键点距离),比开放文本容易造 verifier;难的是”视觉推理中间步骤”仍无真值;
  2. 视觉输入是 observation 不是 action:图像 token 不算 policy loss(与工具返回同语义,见 07 章);
  3. 训推一致性多一层:视觉编码器在 rollout 引擎与训练引擎间的数值差异叠加在 LLM 侧之上(MoE 的路由问题在 VLM 上同样存在,见 06 章 §9);
  4. 难度课程是二维的:图像难度(遮挡/小目标/域偏移)× 指令难度,动态采样要在联合分布上做。

1.3 给 CV/异常检测背景候选人的叙事模板

把你的原领域资产翻译成 RL 语言,面试一句话版本:

“我熟悉的评测指标本身就是可验证奖励的现成来源——检测的 IoU/mAP、异常检测的像素级 PRO/AUROC,阈值化之后就是 verifier。我做过的误报代价分析对应 reward shaping,bad case 驱动迭代对应 reward hacking 审计。”

可展开的设计题预演:“为工业缺陷检测设计一个 RLVR 方案”——底座 VLM + 缺陷定位任务;奖励 = 定位 IoU(连续项)+ 缺陷类别对错(离散项)+ 报告格式项;失败模式要主动说:模型可能学会”多框刷召回”(用置信度项和多余框惩罚制衡)、训练集缺陷类型过拟合(按对象/缺陷类型隔离切分验证泛化,正是异常检测评测的常规操作)。

2. 奖励模型前沿:从 scalar 到 generative

2.1 DeepSeek-GRM 与 SPCT

DeepSeek-GRM 把 RM 从”输出一个分”改造成”生成式批改员”(pointwise GRM):对每个待评回答先生成评分原则(principle),再写自由形式批评(critique),最后给 1–10 离散分——全程可读、可审计。

训练方法 SPCT(Self-Principled Critique Tuning)分两阶段:拒绝式微调(rejective fine-tuning)打底 + 规则在线 RL,让模型学会按输入自适应生成评分原则而不是套一套固定 rubric。

推理时扩展(reward 侧的 test-time scaling):并行采样 k 份”原则→批评→分数”判决,把各判决分数求和投票,再用一个 meta RM 过滤低质量判决。27B 的 GRM 在 Vote@32+MetaRM 下整体分从贪心的 69.9 升到 72.8,可比肩大一个量级的模型——给 RM 加推理算力比加参数更划算是这篇的核心论点。

2.2 四类奖励来源的对比表(面试常考选型)

来源形态优点主要风险何时选
规则 verifierexact match/单测/IoU便宜、确定、可大规模只覆盖可形式化目标,可被钻空子RLVR 主力(R1 路线)
scalar RM单个分数打分吞吐高,适合在线 rollout不可解释、易学 shortcut、分布外退化通用偏好、高吞吐场景
生成式 RM(GRM/SPCT)原则+批评+分数可解释、可推理时扩展、跨域适应推理贵、判决方差、judge 类偏置仍在开放域质量评估、做数据飞轮的过滤器
LLM-as-Judge(提示式)rubric 打分零训练成本位置/长度/自我偏好,一致性差快速原型;正式训练前换上面三种

追问预演:GRM 和 LLM-as-Judge 的区别?(前者为评分专门训练过(SPCT),且以原则生成为一等公民;后者是通用模型加提示。)为什么 rollout 打分常仍用 scalar?(一次训练要打几百万分,生成式太贵——常见组合是 scalar 在线打分 + GRM 离线审计。)

3. 开放争议:“RLVR 到底有没有让模型更聪明”

2026 年面试的高频开放题。答题结构:先摆两边证据,再给判别方法,落到自己的实验设计——考的是评测素养,不是站队。

3.1 质疑方证据

  • pass@k 反超(NeurIPS 2025):RLVR 模型在 k=1 时胜过 base,但 k 放大后 base 反超;RLVR 模型的推理路径几乎都已在 base 的采样分布内;训练越久可解问题边界越窄。六种主流算法的”采样效率差距”相近且都远未达 base 上限——按此口径,RLVR 是搜索压缩(把 pass@k 的能力压进 pass@1),不是能力扩展。
  • 机制解释(Reasoning Boundary Paradox):负迁移(学会某些题会压低另一些题的正确解概率)+ 赢者通吃(高似然解被不断强化、低似然正确解被挤出支撑集)。
  • Spurious Rewards:随机奖励、仅格式奖励也能显著提升 Qwen2.5-Math(“代码式推理”行为从 65%→90%),但在 Llama3/OLMo2 上不复现——后续研究指向 Qwen 预训练数据污染;在去污染数据上只有真实奖励带来增益。含义:你的 RLVR 增益可能是训练动力学副产品,不是 verifier 的功劳。
  • 蒸馏对照:同一系列研究显示蒸馏能引入 base 没有的推理模式、真正扩边界(与 06 章 §7.3 的 R1 结论一致)。

3.2 支持方与折中

  • 用 CoT-pass@k(要求推理链和答案都对)替代 pass@k 后,RLVR 的增益更”真”——它至少提升了逻辑完整性;
  • Agentic/工具任务上边界扩展的证据更强(组合工具产生 base 单靠采样到不了的终态);
  • 实务共识:增益主体是搜索压缩,少部分是能力扩展,比例取决于任务、verifier 覆盖与基座。

3.3 面试答法模板

“两边证据我都可以摆:pass@k 反超和 spurious rewards 支持’压缩说’,CoT-pass@k 和 agentic 任务支持’扩展说’。所以我不会只报 pass@1:我会画 pass@k 曲线看边界有没有缩、在去污染/分布偏移集上复测、跑一个随机奖励对照排除训练动力学副产品,必要时和蒸馏基线对比。对业务来说,如果目标就是单次成功率和成本,压缩本身已经值钱;如果要新能力,就考虑蒸馏+RL 组合并做探索保护(熵控制、数据课程)。“

4. RL Scaling:把 RL 做成可预测的工程

ScaleRL(40 万 GPU 时的系统研究)给 RL 训练拟合出 sigmoid 计算量—性能曲线:

RC=R0+A−R01+(Cmid/C)BR_C=R_0+\frac{A-R_0}{1+(C_{mid}/C)^B}

AA 是渐近天花板,BB 与 CmidC_{mid} 是计算效率(爬坡快慢与半程算力)。选 sigmoid 而非幂律,因为 pass rate 有界饱和。

最有面试价值的结论是”天花板/效率二分”:

  • 抬天花板 AA 的:损失类型(CISPO 优于 DAPO/GRPO 口径)、FP32 logits 头、数据/prompt 过滤;
  • 只改效率 BB 的:损失聚合方式、优势归一化、课程学习、off-policy 方案——它们让你更快到顶,但顶就在那里。

ScaleRL 配方本身:PipelineRL 式异步(8 步 off-policyness)+ 中断式长度控制 + FP32 logits + prompt 级损失聚合 + batch 级优势归一化 + CISPO 损失 + 零方差样本过滤;作者用小规模拟合外推,成功预测了单次 10 万 GPU 时训练的最终表现。

用法与连接:

  • 面试题”你怎么判断一个 RL 改进值不值得上大规模”→ 小算力跑到拐点附近、拟合 sigmoid、看改动动的是 AA 还是 BB,动 AA 才值得抢算力(字节 Seed JD 里的 “RL Scaling” 方向问的就是这类方法学);
  • 与 06 章熵定律的呼应:R=−a eH+bR=-a\,e^H+b 同样是”天花板可预测”的故事——熵耗尽即到顶,所以熵管理是 scaling 的前提之一。

5. 2026-08-23 增量:奖励、梯度、推理 span 与 Agent 转移的信用

这批新工作看似是五个缩写,实际都在回答同一件事:“一个总分或一条教师轨迹太粗,真正该更新的是哪一个目标、prompt 组、推理片段或 Agent 动作?”

5.1 多奖励为什么不能永远固定加权:SA-MRPO

常见实现先把多个奖励合成标量,再做组内标准化:

Ri=∑j=1mwjrij,Ai=Ri−μRσR+ϵ.R_i=\sum_{j=1}^{m}w_j r_{ij},\qquad A_i=\frac{R_i-\mu_R}{\sigma_R+\epsilon}.

这有两个问题:

  1. reward profile 被压扁:一个“答案正确但格式错”的 rollout,可能和“答案错但格式完美”的 rollout 得到相同总分,优势无法区分两种失败;
  2. 目标饱和后仍吃梯度:格式正确率已经接近 100%,固定权重仍持续优化格式,难的 correctness 反而拿不到足够更新预算。

SA-MRPO(2026-08-17)先对每个目标独立组内标准化,再按该目标的“剩余提升空间”动态加权:

Ai(j)=rij−μjσj+ϵ,A~i=∑jαjAi(j),αj∝(1−sj)γ.A_i^{(j)}=\frac{r_{ij}-\mu_j}{\sigma_j+\epsilon},\qquad \widetilde A_i=\sum_j \alpha_j A_i^{(j)},\quad \alpha_j\propto(1-s_j)^\gamma.

sjs_j 表示批级目标饱和度,越接近上限,权重越小;γ\gamma 控制重分配强度。关键不只是缩放梯度——不同目标的标准化优势符号可能相反,动态权重甚至会改变某条 rollout 的最终更新方向。

面试落地:正确性、格式、长度、安全、工具成本不要一开始永久固定权重。先记录每个 reward 的均值/方差/饱和度和与真实成功率的相关性;已饱和的格式项退火,始终保留终局正确性为主目标。SA-MRPO 是新预印本,适合回答设计题,不应说成行业标准。

5.2 prompt 组之间梯度打架:GUPO

GRPO 对每个 prompt 采样一组回答,先得到该 prompt 的 group gradient,再把一个 mini-batch 里不同 prompt 的 group gradient 直接平均。GUPO(2026-08-18)指出:不同 prompt 组的梯度可能余弦相似度为负;冲突越严重的 batch,验证集更新收益往往越差。

GUPO 的思路是把每个 group gradient 当随机变量,用 Bayesian/Dirichlet evidential 形式估计不确定性;聚合时提高低不确定性、较可靠组的权重,压低高不确定性组,而不是一律等权平均。

工程上先做更便宜的诊断:抽样计算组梯度余弦分布、按任务/难度看冲突率、对高冲突 batch 做独立验证更新。若冲突来自数据混杂,分桶采样或任务平衡可能比上复杂优化器更直接。GUPO 的核心考点是组内标准化解决 prompt 内 baseline,不自动解决 prompt 间梯度冲突。

5.3 教师相似度不等于推理进展:R2-OPD

On-policy distillation 用学生自己采样的轨迹作为状态,再让教师给逐 token 稠密信号,解决离线蒸馏的 exposure bias。但它隐含假设“越像教师,推理越有进展”。学生可能走一条不同但有效的路径,因此教师 divergence 会错误惩罚好步骤。

R2-OPD(2026-08-19)对一条轨迹构造两种 span 排序:教师蒸馏奖励排序,以及通过后续成功概率估计的 reasoning-progress 排序。相邻且进展符号一致的 span 先合并以降噪;若两套排序局部冲突,就屏蔽冲突 span 的蒸馏奖励。它不是把 process reward 生硬加进总 reward,而是把 progress 当作教师信号的可靠性门控。

面试一句话:OPD 的稠密不代表正确;先问“教师信号和任务进展是否一致”。监控应包含 teacher KL、progress estimate、冲突 span 比例、屏蔽率和最终正确率,避免屏蔽过多后退化成稀疏 RL。

5.4 没有成功轨迹,长程 Agent 如何分 step credit:TRCA

成功轨迹锚点法在训练早期会失效,因为长程任务的 success rate 可能接近 0。TRCA(2026-08-17)不训练 critic、不要求成功锚点,而是直接评价每个动作导致的状态转移:

  • Evidence:是否获得了与任务相关的新证据;
  • Execution:是否执行了有效、真正改变环境的动作;
  • Invalidity:是否无效、重复、回退或破坏状态。

同一套 rubric 生成两种 credit:Foundational Reward 评价当前转移的局部好坏;Breakthrough Reward 只奖励新覆盖的 Evidence/Execution 条件;再与 terminal outcome 合并。这样失败轨迹里“虽然最终没完成,但找对证据/完成关键子任务”的动作仍能学习。

风险是 rubric 本身也可能错、被模型钻空子,且 judge 推理有成本。最小实验必须和“只有终局 reward”“成功轨迹锚点”“过程 judge”比较,并单独报告早期低成功率阶段。

5.5 不要覆盖已经走对的 Agent 前缀:DART-SD

多工具任务常有多个顺序等价的子目标,成功路径形成汇合的“菱形”状态拓扑。全轨迹 SFT/蒸馏把教师的一条线性轨迹当唯一答案,会惩罚学生已经有效的探索;普通终局 GRPO 又把同一个分数粗略摊给整条轨迹。

DART-SD(2026-08-19,ByteDance 等)把交互建成 Interaction-State Transition Graph,定位 Critical Topological Breakpoint:学生从哪一步开始偏离可恢复的成功结构。训练时检索成功支持的恢复参考,只在断点后的恢复步骤计算蒸馏 loss,断点前有效前缀不反传。

它更接近拓扑感知的局部自蒸馏,不是新的 PPO loss。面试对比:TRCA 解决“没有成功锚点时如何评价每个转移”;DART-SD 解决“有成功支持时如何只修真正错的后缀并保护等价前缀”。

5.6 五篇论文的统一坐标系

信用粒度典型失败本轮方法你先监控什么
reward 目标固定权重浪费在已饱和格式/长度SA-MRPO各 reward 均值、方差、饱和度、与真实成功率相关性
prompt 组不同 query 的 group gradient 方向冲突GUPO组梯度余弦、冲突率、按任务/难度分桶
reasoning span教师相似度压制有效的不同思路R2-OPDteacher/progress 排序冲突率、mask 比例
Agent transition终局失败但中间动作有价值TRCAEvidence/Execution/Invalidity 分解、突破覆盖率
Agent 路径拓扑全轨迹模仿覆盖正确前缀/等价顺序DART-SD断点位置、恢复成功率、被保护前缀比例

答开放题时先定位粒度,再讲信号、估计偏差、额外成本和最小消融。这样比连续背五个缩写更像做过系统设计。

6. 2026-08-29 增量:先判断可学习性,再设计 credit 与 reward

6.1 Base-policy support:RL 不能从零采到不存在的行为

观察到的失败

同一套 RLVR/GRPO 配方换一个 base model、prompt 分布或任务难度就可能从稳定提升变成全错组、零梯度或 reward 原地波动;“spurious reward”也不是永远有害或永远有效。

机制解释

On-policy 更新依赖当前策略采到的轨迹。设目标行为集合为 (\mathcal B),如果

[ P_{\tau\sim\pi_0}(\tau\in\mathcal B) \approx 0, ]

那么有限 rollout 预算里几乎看不到正例。二元 verifier 下,组内全错又让相对 advantage 退化;调 clip、学习率或训练步数不能创造没有被访问的状态—动作支持。prompt 分布还会改变行为和代理奖励的相关性,所以“某 reward 是否有效”必须连同训练分布讨论。

已有原理

这是经典 RL 的 exploration 与 support 问题,不是 LLM 特有新名词。Demystifying Reinforcement Learning Post-Training of Language Models(2026-08-24)把 base model、prompt distribution、reward granularity 与 spurious reward 放在统一实验里,核心结论是:目标行为先要在 base policy 下拥有足够概率质量。

可证伪预测与最小实验

  1. 训练前按 pass@k、组内非零方差率、工具动作覆盖把 prompt 分桶;support 高的桶应更容易被直接 RL 提升。
  2. support 极低时,SFT/蒸馏→RL 或 curriculum 应优于同预算直接 RL;如果低 support 桶仍稳定学成,这个机制解释就被削弱。
  3. 固定模型和 reward,只换 prompt distribution;若 spurious reward 的效果随分布改变,则不能把结果归因成 reward 本身的普遍性质。

落到工程决策:先测会不会,再决定怎么强化。若目标行为近乎不可达,先补数据/示范/任务分解;若 verifier 错,先修环境;只有存在可探索信号时才比较 PPO/GRPO 细节。

6.2 CompPO/CCT:把 credit 拆成 evidence、transport、update geometry

观察到的失败

GAE 用固定 (\gamma\lambda) 几何核沿 token 时间传信用;group-relative 方法常把一个 outcome statistic 广播给整段回答。两者都不直接表示该条 Transformer 轨迹内部哪些 token 对后续计算更重要。

机制解释与既有原理

CompPO/CCT把 credit assignment 拆成三个对象:

  1. evidence:成功证据是什么——outcome/process reward、verifier、judge;
  2. transport operator:证据怎样成为逐 token advantage——广播、固定折扣核或轨迹相关核;
  3. update geometry:advantage 怎样改变策略——PPO clip、ratio 粒度、梯度聚合。

CompPO 只重点改变第二层:从 detached behavior-policy 的 attention concentration 得到有界逐 token retention gate,在一步 bootstrap 和 path-dependent Comp-GAE 中共同使用;task reward 与 clipped PPO objective 不变,常数 gate 可退化回普通固定系数 GAE。这个拆法继承了经典 credit assignment 和 GAE bias–variance 观点,但“attention concentration 能否代理因果信用”仍是待检验假设。

可证伪预测与论文证据

若轨迹内部计算真的提供 transport 信息,learned trajectory-specific gate 应同时胜过 constant、position-only 和跨轨迹 shuffle 控制。论文报告 Qwen3-4B 五个 seed 的 held-out accuracy 为 61.4%,tuned GRPO 为 53.8%;constant/shuffle/position 与 critic 对照均低于完整方法,PPO 网格稳定性为 10/12 对 3/12。这里最重要的是对照结构,不是把 61.4 当通用收益。

面试时要主动给限制:新预印本、任务与模型范围有限、读取内部统计增加耦合和成本;若 shuffle 控制不掉点、或收益只来自新 critic 容量,就不能声称“credit follows computation”。

6.3 Judge reward:pairwise 比较与无异常负例防止误报

观察到的失败

Agent 用 LLM-as-a-Judge/autorater 做 reward 时,reward 可以持续上升,但策略开始夸大问题、编造证据或抓表面关键词;审计/安全任务中表现为 false positive,业务 Agent 中表现为“看起来完成了”但人工验收失败。

机制解释与既有原理

如果 pointwise judge 只奖励“发现异常”,训练分布又几乎全是有异常样本,代理目标没有约束“没有问题时保持沉默”。策略就会 reward hack。偏好学习的既有经验表明,相对比较常比绝对打分更稳;统计校准则要求正负基率与无事件负例都进入训练/评测。

Training Alignment Auditors via Reinforcement Learning(2026-08-26)让知道隐藏行为标签的 judge 把策略调查与 reference investigation 做整体 pairwise 比较。消融显示 pairwise reward 比 pointwise 更稳,加入没有植入隐藏行为的目标后,最佳配置保持低于 1% 的 false-positive rate。

可证伪预测与迁移边界

  1. 相同数据和预算下,pairwise 应比 pointwise 在 judge swap、措辞扰动和人工盲评上更稳;否则“比较更鲁棒”的解释不成立。
  2. 增加无异常负例应降低 FPR,同时不能让 TPR/真实成功率塌掉;只降误报但完全不发现问题也不算成功。
  3. 至少报告 TPR/recall、FPR、precision、校准曲线、人工通过率和单位成功成本,不能只报训练 reward。

这是单一 alignment-auditing 应用的预印本,不等于所有业务 Agent 都能复制其数字。迁移到搜索、客服、代码 Agent 时要重新构造业务负例、reference 和人工验收集。

6.4 一张决策表

顺序先问什么失败时先修什么不要先做什么
1Base policy 能否采到目标行为?数据、SFT/蒸馏、curriculum、任务拆分盲加 GRPO steps/rollouts
2Reward/evidence 是否对应真实目标?verifier、rubric、负例、人工抽检只看 reward 均值
3Credit transport 是否把证据分对位置?step/span/token 归因与控制实验同时改 reward 和 loss 后宣称归因
4Update geometry 是否稳定?clip/KL/ratio/reduction/组梯度用优化器补救错误目标
5OOD/真人/线上是否成立?冻结评测、judge swap、A/B 与成本把训练 judge 分数当上线成功

Unsupervised Post-Training Survey(EMNLP 2026 Findings)整理了 80 种严格 UPT 方法,并以内部信号来源组织它们;其重要提醒是同源自生成信号可能递归放大错误。把它作为选型索引,而不是第 80 个要背的方法名。

7. 2026-09-08 增量:用新论文练习实验判断

以下三篇均在 9 月 2—4 日首发。它们作为基础知识的案例阅读,暂不加入 79 张必背卡的评分总数;作者实验尚未在本仓库复现。阅读顺序建议 7.1 → 7.2 → 7.3,每项先回答问题再看论文。

7.1 竞赛代码后训练:提升究竟发生在哪一阶段?

Post-Training Language Models for Gold-Medal Performance in Coding Competitions(9.02 首发、9.04 v2)的 Nano 模型在 IOI 2025 上,单次得分约为基座 130、SFT 后 280、RL 后 291;使用 GenCorrect 推理时多轮反馈后约 468。GRPO 的终局奖励来自程序执行,GenCorrect 则在推理时生成候选、选择并利用反馈修正。Ultra 没有做本文的代码专项 RL,但初始化含此前 RLVR,不能说从未经过 RL。IOI 2026 测试是非官方评测,不是官方参赛名次。

怎样理解: 参数更新改变的是策略;采样次数、工具反馈与选择器改变的是调用策略的方式。两者都可能有用,但需要分别记录。上面的 291 和 468 使用不同推理设置,不能把差值称为 RL 训练收益。

面试回答框架:“我会先固定提示词、采样温度、token/时间预算、测试集与选择规则,比较 base/SFT/RL;再冻结同一 checkpoint,比较单次、best-of-N、多轮反馈。报告成功率同时报告总生成 token、执行次数、延迟与成本。多轮反馈使用的测试也要与最终隐藏验收区分。”

练习规格(尚未运行): 做一张 checkpoint × inference_mode 结果表,保留没有跑的空格。若 RL 优势只在更大搜索预算下出现,只能说组合方案有效;若相同预算下仍提升,才有相应条件下的训练收益证据。该练习复用受控比较原则,不是新的训练算法。

7.2 文本简化:确定性奖励也可能偏离目标

Catalan text simplification with RL(9.04 首发)用 GRPO 优化 SARI;作者观察到冗长、不停止的输出可能得高分,并引入长度/复制惩罚。论文明确承认按“原句—参考句对”切分导致同一原句跨集合的风险,且每种语言只有一次训练。英语训练到加泰语 iDEM 的 SARI 为 43.31→44.50,不能据此得出普遍跨语言结论。

先问目标: 文本简化希望保留事实、降低阅读难度;SARI 是代理指标。可计算只保证打分过程可执行,不能保证它等价于人的目标。训练 reward 上升时应同时查看长度、重复、遗漏和语义保真。

切分教学例子: 输入原句 A 有参考答案 A1、A2、A3。若把 (A,A1) 放训练、(A,A2) 放测试,即使字符串 pair 不重复,模型已经见过测试输入。应先按原句/用户/文档或题目族分组,再划分 train/dev/test;检索语料、合成样本、不同参考也按任务边界检查。

面试回答框架:“先确认指标实现、数据切分和终止条件;用固定模型构造冗长、复制、删掉关键信息等反例,检查打分排序。修复泄漏后再评估基线和训练模型。只有评分目标仍不合理时,才单独提出奖励修改并做对照。”这样可以区分评测问题与算法问题,避免看到坏输出就连续叠惩罚项。

7.3 Agent 约束:低价格能抵消日期错误吗?

First Things First(9.04 首发)区分必须条件、可选偏好和无可行解,用 GRPO 结合格式、答案与需求分类奖励。Qwen2.5-VL-7B 总准确率 39.78%→55.80%,但无解子集 44.26%→42.62%。答案比较使用多模态模型,因此不是纯规则 RLVR;图文需求推理结果也不能直接代表长程工具 Agent 的可靠性。

教学例子: 用户要求“9 月 15 日出发,预算不超过 800,尽量靠窗”。日期和预算是必须条件,靠窗是偏好。候选 A 日期错误但便宜且靠窗,候选 B 日期预算都满足但不靠窗。业务应优先 B;加权总分若给便宜/靠窗过高权重,可能错误选择 A。

用集合表达更清楚:先构造满足必须条件的可行集合,再在集合内按偏好排序;为空时应报告不可行并请求用户调整条件。此处是业务决策规格,不能据此声称论文的软奖励训练保证了硬约束。

面试验收: 同时报告总体成功率、硬条件违反率、无解识别率、可行任务误拒率。比较随机无解样本与最接近可行的困难负例。若平均分涨、无解识别下降,就需要说明收益发生在哪些子集;不能只报总分。

8. 本章验收

  1. 能为一个视觉任务(检测/分割/异常检测)设计可验证奖励,主动说出两种被钻空子的方式和制衡项;
  2. 能讲清 SPCT 两阶段与 GRM 的推理时投票机制,并回答”为什么在线打分常仍用 scalar RM”;
  3. 能双面陈述 RLVR 边界争议,给出四件判别工具(pass@k 曲线、去污染复测、随机奖励对照、蒸馏基线);
  4. 能用”天花板 vs 效率”二分评价一个 RL 改进,并说明 sigmoid 拟合外推的用法。
  5. 给定“正确性+格式+长度”三奖励,能指出固定加权的两个失败并设计逐目标监控;
  6. 能区分 prompt 组梯度冲突、span 级教师冲突、transition credit 和拓扑断点四个粒度;
  7. 能用 90 秒比较 TRCA 与 DART-SD:前者不依赖成功锚点做转移 rubric,后者利用成功支持只蒸馏错误后缀。
  8. 给定一个新 RL 任务,能先用 pass@k/support、reward 方差和动作覆盖判断是否值得直接 RL;support 低时给出 SFT/curriculum 对照。
  9. 能把 credit 拆成 evidence/transport/update geometry,并设计 constant、position、shuffle 三个 transport 控制。
  10. 能为 LLM judge 设计 pairwise 与无异常负例消融,同时报告 TPR/FPR/precision,而不是只报 reward。

主要来源:Visual-RFT、DeepSeek-GRM/SPCT、RLVR 边界研究、Reasoning Boundary Paradox、ScaleRL、熵机制、SA-MRPO、TRCA、GUPO、DART-SD、R2-OPD、CompPO/CCT、Demystifying RL Post-Training、Alignment Auditors via RL、UPT Survey。

原始讲义与可运行材料:GitHub 源文件。