专题

强化学习论文精读:2016–2026

51 篇重要强化学习论文的逐篇中文精读:从价值学习、策略梯度和世界模型,到 RLHF、RLVR、推理与智能体强化学习。

共 51 篇,按顺序阅读。

这套专题收录 2016–2026 共 51 篇重要强化学习论文。年份按正式会议或期刊发表年归档;只有预印本或技术报告时采用首次公开年。2026 年只覆盖到 2026-08-29,因此该年的重要性判断是暂定的。

2016–2026 强化学习研究主线演化

图 1|研究问题的演化,而不是性能排行榜。 每个阶段继承前面的估计、优化或系统问题,同时引入新的动作空间、奖励来源和轨迹长度。

先说明分类

本专题把“解决决策问题”和“训练时真的做策略 RL”分开:PPO、GRPO、RLVR 和多轮环境策略更新属于严格 RL;DPO、KTO、ORPO、SimPO 等是直接偏好优化;过程奖励模型与 RewardBench 是奖励建模/评测;Decision Transformer 等采用离线序列建模。

每篇都回答同一组问题:观察到什么失败、失败机制是什么、以前怎样处理、本文做了什么最小改动、公式怎样变成算法、实验支持到哪里、优缺点与可证伪预测是什么。阅读方法借鉴 Keshav 的三遍阅读法,图解遵守图文邻近、信号提示与去冗余原则。

从优势估计到大模型智能体强化学习的机制依赖

图 2|理解依赖图。 箭头表示建议先理解的机制,不表示后者只继承了前者一篇论文。

15 篇最短主线

  1. GAE:在“看得远但噪声大”和“看得近但偏差大”之间连续调节 — GAE 用 λ 控制 policy-gradient 优势估计的偏差—方差权衡,成为 PPO 和主流 RLHF 实现的标准部件。
  2. PPO:用裁剪概率比限制一批数据被“用过头” — clipped surrogate 近似 trust region,并允许同一批 rollout 做多轮 minibatch 更新;后来成为经典 RLHF 的核心优化器。
  3. 从人类偏好学深度强化学习:先学“怎样算好”,再让策略去优化 — 从成对轨迹偏好学习奖励模型,再用 RL 优化策略,是现代 RLHF 最直接的算法原型。
  4. 从人类偏好微调语言模型:reward model、PPO 与 KL 约束的早期完整范式 — 首次把预训练语言模型、成对文本偏好奖励、KL 约束和 PPO 结合到多个自然语言任务,是语言模型 RLHF 的直接起点。
  5. Learning to summarize from human feedback:把“人更喜欢哪篇摘要”变成语言模型的奖励 — 清晰展示语言模型 + 成对偏好奖励模型 + RL 能在摘要任务上超过监督微调与参考摘要,是大模型 RLHF 里程碑。
  6. InstructGPT:把“续写互联网文本”改造成“按人的意图办事” — 把 SFT→奖励模型→PPO 三阶段 RLHF 扩展到真实而广泛的指令分布,成为现代指令对齐的标准参照。
  7. Constitutional AI:用原则驱动自我修订与 AI 偏好标签 — 形成“宪法原则→自我批评/修订→AI 偏好→奖励模型→RL”的完整 RLAIF 范式。
  8. DPO:把“奖励模型 + PPO”化成一次偏好分类 — 用 KL 约束 RLHF 的最优策略—奖励闭式关系,把奖励模型 + PPO 化为单阶段偏好分类损失。
  9. Let’s Verify Step by Step:把“答案错了”拆成“第几步开始错” — 系统比较过程监督 PRM 与结果监督 ORM,并发布 PRM800K,奠定可验证推理的过程奖励建模。
  10. DeepSeekMath / GRPO:用同题多个答案的相对得分取代巨大的价值模型 — 提出无 critic、用组内奖励标准化估计 baseline 的 GRPO,并把可验证答案奖励用于数学推理,是 reasoning RL 的关键算法源头。
  11. DeepSeek-R1:可验证奖励怎样把长推理“练”出来 — 展示无人工推理轨迹的 RL 可显著激发长链推理,并把 GRPO、RLVR 与 reasoning-model 蒸馏推向主流。
  12. DAPO:让长思维链强化学习既能探索,也能稳定获得有效梯度 — 可完整复现的大规模 reasoning RL 系统;把 clip-higher、dynamic sampling、token-level loss 与过长样本处理拆成可验证干预。
  13. Understanding R1-Zero-Like Training:先审计 base、模板和 loss,再谈“推理涌现” — 纠正“RL 产生 aha moment”的轻率解释,检测 base-model/template 偏差与 GRPO 长度偏差,并提出 Dr.GRPO。
  14. Search-R1:用最终答案奖励学习“何时搜、搜什么、何时停” — 把 RLVR 扩展到 reasoning-search 交替轨迹,并用 retrieved-token masking 避免工具返回内容进入策略梯度。
  15. RAGEN:多轮智能体强化学习为何先变好、再掉进“回声陷阱” — 系统揭示多轮 RL 的 Echo Trap、reward-variance cliff、梯度尖峰和 reasoning signal 衰减。

七个机制模块

A. 策略梯度与价值学习

建立价值、优势、策略梯度、可信更新与连续控制的基本故障模型。

年份论文训练类型
2016Dueling DQN:把“这个状态好不好”和“此刻该按哪个键”分开学严格策略 RL
2017分布式强化学习:C51 不只猜平均回报,还猜回报的整个分布严格策略 RL
2016GAE:在“看得远但噪声大”和“看得近但偏差大”之间连续调节严格策略 RL
2017PPO:用裁剪概率比限制一批数据被“用过头”严格策略 RL
2018Soft Actor-Critic:让策略既追求高回报,也保留多种好选择严格策略 RL
2018TD3:别让 actor 把 critic 的估计误差当成捷径严格策略 RL

B. 扩展、探索与世界模型

理解 actor–learner 解耦、回放状态、内在奖励和潜空间规划。

年份论文训练类型
2016A3C:用许多不同步的学习者替代经验回放严格策略 RL
2018IMPALA:让大量 actor 放手采样,再用 V-trace 修正“旧策略数据”严格策略 RL
2019R2D2:让循环网络从回放中学习,而不被“过期记忆”带偏严格策略 RL
2019RND:用“还没学会模仿随机老师”衡量新奇严格策略 RL
2019PlaNet:不预测未来像素,也能在“脑内”试动作严格策略 RL
2020Dreamer:让策略在潜空间里“做梦”学会长期控制严格策略 RL
2020MuZero:不知道游戏规则,也能学会为搜索服务的世界模型严格策略 RL

C. 离线 RL 与序列建模

区分离线策略改进、保守价值学习和回报条件序列建模。

年份论文训练类型
2020CQL:离线强化学习里,先把没见过动作的虚高分压下来严格策略 RL
2021Decision Transformer:把离线决策改写成“按目标回报续写动作”离线序列建模,非策略梯度
2021Trajectory Transformer:把动力学、行为约束和规划装进一次序列生成离线序列建模,非策略梯度

D. 人类偏好与经典 RLHF

沿偏好标签、奖励模型、KL 约束和策略更新追踪完整 RLHF 闭环。

年份论文训练类型
2017从人类偏好学深度强化学习:先学“怎样算好”,再让策略去优化严格策略 RL
2019从人类偏好微调语言模型:reward model、PPO 与 KL 约束的早期完整范式严格策略 RL
2020Learning to summarize from human feedback:把“人更喜欢哪篇摘要”变成语言模型的奖励严格策略 RL
2021WebGPT:让语言模型浏览网页,并把人类偏好变成可优化的答案分数严格策略 RL
2022InstructGPT:把“续写互联网文本”改造成“按人的意图办事”严格策略 RL
2022HH-RLHF:同一个奖励怎样兼顾“有帮助”与“不伤人”严格策略 RL
2022Sparrow:把笼统“安全”拆成可逐条追问的规则严格策略 RL
2023RL4LMs 与 NLPO:给语言策略优化一套可比较的试验台严格策略 RL
2023Fine-Grained RLHF:告诉模型“哪一句、错在哪”严格策略 RL

E. AI 反馈、直接偏好与奖励评测

准确区分 RLAIF、奖励评测和不做在线策略梯度的直接偏好目标。

年份论文训练类型
2022Constitutional AI:用原则驱动自我修订与 AI 偏好标签严格策略 RL
2024RLAIF vs. RLHF:把偏好标注员从人换成大模型,其他环节尽量不动严格策略 RL
2023DPO:把“奖励模型 + PPO”化成一次偏好分类直接偏好优化,非策略 RL
2023RRHF:把候选答案按奖励排序,再让语言模型学会同样排序直接偏好优化,非策略 RL
2024KTO:不凑偏好对,也能用“好/坏”标签直接对齐直接偏好优化,非策略 RL
2024ORPO:把 SFT 与偏好惩罚合成一次训练直接偏好优化,非策略 RL
2024SimPO:让训练奖励与生成时的平均似然对齐直接偏好优化,非策略 RL
2024Self-Rewarding Language Models:同一个模型既作答又当裁判直接偏好优化,非策略 RL
2025RewardBench:先测清“裁判”会不会判,再让策略听它的话奖励建模/评测,非策略 RL

F. 可验证奖励与推理 RL

审查 GRPO/RLOO/DPPO 的优势、归一化、裁剪和可验证奖励机制。

年份论文训练类型
2024Let’s Verify Step by Step:把“答案错了”拆成“第几步开始错”奖励建模/评测,非策略 RL
2024DeepSeekMath / GRPO:用同题多个答案的相对得分取代巨大的价值模型严格策略 RL
2024RLOO:把一整段回答当成一个动作,用其他采样估计它的起跑线严格策略 RL
2025DeepSeek-R1:可验证奖励怎样把长推理“练”出来严格策略 RL
2025Kimi k1.5:把长上下文、可验证奖励和训练系统一起扩展严格策略 RL
2025DAPO:让长思维链强化学习既能探索,也能稳定获得有效梯度严格策略 RL
2025Understanding R1-Zero-Like Training:先审计 base、模板和 loss,再谈“推理涌现”严格策略 RL
2026DPPO:大词表里,概率“倍数”不是策略“距离”严格策略 RL

G. 搜索、工具、多轮与自演化

进入长轨迹工具环境、自博弈、多代理学习和 agentic RL 系统。

年份论文训练类型
2025Search-R1:用最终答案奖励学习“何时搜、搜什么、何时停”严格策略 RL
2025RAGEN:多轮智能体强化学习为何先变好、再掉进“回声陷阱”严格策略 RL
2025SWE-RL:不用执行测试,也能从真实补丁的“相似程度”训练代码修复策略吗?严格策略 RL
2025Absolute Zero:模型自己出题、自己解题,但“零数据”究竟零掉了什么?严格策略 RL
2026SPIRAL:让同一个语言模型在零和游戏里左右互搏严格策略 RL
2026ICRL for Tool Use:训练时给示范扶手,再一阶阶撤掉严格策略 RL
2026SAGE:让出题、规划、求解和质检共同训练,但闭环仍受验证器与课程漂移约束严格策略 RL
2026Q-Evolve:在每轮混合数据支持内分配过程信用,再用新交互进入下一轮离线到在线智能体 RL
2026AReaL2.0:把自进化 agent 的瓶颈从单个 RL 算法提升为数据协议、代理与控制平面系统立场/技术报告

年份索引

年份篇数说明
20163正式发表年优先
20173正式发表年优先
20183正式发表年优先
20194正式发表年优先
20204正式发表年优先
20213正式发表年优先
20224正式发表年优先
20234正式发表年优先
20248正式发表年优先
20259正式发表年优先
20266截至 2026-08-29 暂定

证据与下载边界

本地研究档案包含 51 份 PDF、41 个原始 TeX bundle、9 个明确标注限制的 TeX 文本树,以及 1 份 MinerU Markdown。博客只发布原创中文讲解和教学重绘 SVG,不复制论文 PDF、TeX、MinerU 全文或第三方样式/图片;每篇开头提供论文官方入口。

实验数字以链接的最终 PDF 为准。早期 TeX 与最终 PDF 不一致时,正文会明确记录版本差异;benchmark 改善、机制证据和历史影响也分别表述。

篇目

  1. 01

    Aug 29, 2026 约 15 分钟

    A3C:用许多不同步的学习者替代经验回放

    A3C 用多个异步 actor 降低样本相关性并稳定 actor-critic,奠定大规模 actor-learner 与后续 RL rollout 系统的基础。

  2. 02

    Aug 29, 2026 约 14 分钟

    Dueling DQN:把“这个状态好不好”和“此刻该按哪个键”分开学

    把 Q(s,a) 分为状态价值与动作优势,在许多动作价值相近时共享学习,是 Rainbow、R2D2 等价值方法的关键构件。

  3. 03

    Aug 29, 2026 约 15 分钟

    GAE:在“看得远但噪声大”和“看得近但偏差大”之间连续调节

    GAE 用 λ 控制 policy-gradient 优势估计的偏差—方差权衡,成为 PPO 和主流 RLHF 实现的标准部件。

  4. 04

    Aug 29, 2026 约 10 分钟

    PPO:用裁剪概率比限制一批数据被“用过头”

    clipped surrogate 近似 trust region,并允许同一批 rollout 做多轮 minibatch 更新;后来成为经典 RLHF 的核心优化器。

  5. 05

    Aug 29, 2026 约 11 分钟

    从人类偏好学深度强化学习:先学“怎样算好”,再让策略去优化

    从成对轨迹偏好学习奖励模型,再用 RL 优化策略,是现代 RLHF 最直接的算法原型。

  6. 06

    Aug 29, 2026 约 12 分钟

    分布式强化学习:C51 不只猜平均回报,还猜回报的整个分布

    学习完整回报分布而非只估期望;C51 成为 Rainbow、R2D2 等强 value-based agent 的关键构件。

  7. 07

    Aug 29, 2026 约 15 分钟

    Soft Actor-Critic:让策略既追求高回报,也保留多种好选择

    最大熵目标同时优化回报与策略熵,兼顾探索、鲁棒性和 off-policy 样本效率。

  8. 08

    Aug 29, 2026 约 15 分钟

    TD3:别让 actor 把 critic 的估计误差当成捷径

    TD3 用双 critic 取最小值、延迟 actor 更新和目标策略平滑抑制过估计,清楚展示 critic 错误如何污染策略。

  9. 09

    Aug 29, 2026 约 15 分钟

    IMPALA:让大量 actor 放手采样,再用 V-trace 修正“旧策略数据”

    解耦 actors 与 learner,并用 V-trace 修正 policy lag,是大规模异步 rollout/学习系统的重要先驱。

  10. 10

    Aug 29, 2026 约 16 分钟

    PlaNet:不预测未来像素,也能在“脑内”试动作

    在随机潜空间学习动力学并用 MPC 规划,把高维像素控制转为紧凑潜空间规划,直接铺垫 Dreamer。

  11. 11

    Aug 29, 2026 约 14 分钟

    R2D2:让循环网络从回放中学习,而不被“过期记忆”带偏

    处理循环网络 replay 中的 hidden-state staleness、representational drift 与 burn-in,连接长时依赖和分布式经验回放。

  12. 12

    Aug 29, 2026 约 14 分钟

    RND:用“还没学会模仿随机老师”衡量新奇

    用预测固定随机网络特征的误差构造 novelty bonus,把“没见过”变成可学习的内在奖励。

  13. 13

    Aug 29, 2026 约 17 分钟

    从人类偏好微调语言模型:reward model、PPO 与 KL 约束的早期完整范式

    首次把预训练语言模型、成对文本偏好奖励、KL 约束和 PPO 结合到多个自然语言任务,是语言模型 RLHF 的直接起点。

  14. 14

    Aug 29, 2026 约 8 分钟

    Dreamer:让策略在潜空间里“做梦”学会长期控制

    在 learned world model 中想象轨迹并训练 actor/value,奠定现代 latent world-model RL。

  15. 15

    Aug 29, 2026 约 11 分钟

    MuZero:不知道游戏规则,也能学会为搜索服务的世界模型

    只学习规划所需的 reward、value 与 policy,而不重建真实环境,展示 learned model + tree search 的跨域通用性。

  16. 16

    Aug 29, 2026 约 11 分钟

    CQL:离线强化学习里,先把没见过动作的虚高分压下来

    惩罚数据分布外动作的高 Q 值并学习保守下界,直接处理 offline RL 的 extrapolation error。

  17. 17

    Aug 29, 2026 约 12 分钟

    Learning to summarize from human feedback:把“人更喜欢哪篇摘要”变成语言模型的奖励

    清晰展示语言模型 + 成对偏好奖励模型 + RL 能在摘要任务上超过监督微调与参考摘要,是大模型 RLHF 里程碑。

  18. 18

    Aug 29, 2026 约 12 分钟

    Decision Transformer:把离线决策改写成“按目标回报续写动作”

    把 offline RL 改写成 return-conditioned 自回归序列建模,直接连接 Transformer 与决策。

  19. 19

    Aug 29, 2026 约 12 分钟

    Trajectory Transformer:把动力学、行为约束和规划装进一次序列生成

    对整条轨迹建模并把 beam search 变成规划,展示生成模型与 model-based offline RL 的统一。

  20. 20

    Aug 29, 2026 约 13 分钟

    WebGPT:让语言模型浏览网页,并把人类偏好变成可优化的答案分数

    把 GPT-3 放入浏览器环境,用行为克隆、偏好奖励与 rejection sampling 优化带引用回答,是 tool-use + human feedback 的早期范式。

  21. 21

    Aug 29, 2026 约 14 分钟

    InstructGPT:把“续写互联网文本”改造成“按人的意图办事”

    把 SFT→奖励模型→PPO 三阶段 RLHF 扩展到真实而广泛的指令分布,成为现代指令对齐的标准参照。

  22. 22

    Aug 29, 2026 约 13 分钟

    HH-RLHF:同一个奖励怎样兼顾“有帮助”与“不伤人”

    建立公开 HH-RLHF 数据与 helpfulness/harmlessness 多目标实验,系统展示在线迭代反馈、尺度效应和奖励过度优化。

  23. 23

    Aug 29, 2026 约 14 分钟

    Sparrow:把笼统“安全”拆成可逐条追问的规则

    Sparrow 将自然语言规则、规则条件奖励模型、偏好奖励和检索证据整合进多目标 RLHF。

  24. 24

    Aug 29, 2026 约 15 分钟

    Constitutional AI:用原则驱动自我修订与 AI 偏好标签

    形成“宪法原则→自我批评/修订→AI 偏好→奖励模型→RL”的完整 RLAIF 范式。

  25. 25

    Aug 29, 2026 约 13 分钟

    RL4LMs 与 NLPO:给语言策略优化一套可比较的试验台

    提供 RL4LMs 开源库、最终版七任务 GRUE 基准和 NLPO,是早期可复现语言策略优化基础设施。

  26. 26

    Aug 29, 2026 约 12 分钟

    DPO:把“奖励模型 + PPO”化成一次偏好分类

    用 KL 约束 RLHF 的最优策略—奖励闭式关系,把奖励模型 + PPO 化为单阶段偏好分类损失。

  27. 27

    Aug 29, 2026 约 13 分钟

    Fine-Grained RLHF:告诉模型“哪一句、错在哪”

    把整体序列偏好细化为句段级密集奖励和多个错误类型奖励,直接检验奖励粒度机制。

  28. 28

    Aug 29, 2026 约 12 分钟

    RRHF:把候选答案按奖励排序,再让语言模型学会同样排序

    用长度归一化 log-prob 排序损失取代 PPO,只需 1–2 个模型,并揭示其 best-of-n 性质。

  29. 29

    Aug 29, 2026 约 12 分钟

    Let's Verify Step by Step:把“答案错了”拆成“第几步开始错”

    系统比较过程监督 PRM 与结果监督 ORM,并发布 PRM800K,奠定可验证推理的过程奖励建模。

  30. 30

    Aug 29, 2026 约 13 分钟

    RLAIF vs. RLHF:把偏好标注员从人换成大模型,其他环节尽量不动

    在摘要、helpful 和 harmless dialogue 上直接控制比较 RLAIF 与 RLHF,并提出直接用 LLM 打分的 d-RLAIF。

  31. 31

    Aug 29, 2026 约 13 分钟

    DeepSeekMath / GRPO:用同题多个答案的相对得分取代巨大的价值模型

    提出无 critic、用组内奖励标准化估计 baseline 的 GRPO,并把可验证答案奖励用于数学推理,是 reasoning RL 的关键算法源头。

  32. 32

    Aug 29, 2026 约 14 分钟

    RLOO:把一整段回答当成一个动作,用其他采样估计它的起跑线

    实证表明 LLM-RLHF 不必继承 PPO 的全部复杂部件;sequence-level REINFORCE/RLOO 更便宜且在论文设置中更强。

  33. 33

    Aug 29, 2026 约 12 分钟

    KTO:不凑偏好对,也能用“好/坏”标签直接对齐

    KTO 用 prospect theory 的参照点与损失厌恶从单个 desirable/undesirable 标签学习,不需要成对偏好。

  34. 34

    Aug 29, 2026 约 13 分钟

    ORPO:把 SFT 与偏好惩罚合成一次训练

    把 SFT 与 odds-ratio 偏好惩罚合成单阶段、无 reference model 的目标。

  35. 35

    Aug 29, 2026 约 13 分钟

    SimPO:让训练奖励与生成时的平均似然对齐

    用平均序列 log-prob 作隐式奖励并加入目标 margin,同时消除 reference model,成为强力 DPO 基线。

  36. 36

    Aug 29, 2026 约 13 分钟

    Self-Rewarding Language Models:同一个模型既作答又当裁判

    让同一 LLM 同时生成并充当 judge 产生偏好,再迭代 DPO,开启自奖励/自改进对齐路线。

  37. 37

    Aug 29, 2026 约 13 分钟

    RewardBench:先测清“裁判”会不会判,再让策略听它的话

    把 chat、hard chat、safety 和可验证 reasoning 组成统一奖励模型基准,暴露拒答偏置与推理弱点。

  38. 38

    Aug 29, 2026 约 17 分钟

    DeepSeek-R1:可验证奖励怎样把长推理“练”出来

    展示无人工推理轨迹的 RL 可显著激发长链推理,并把 GRPO、RLVR 与 reasoning-model 蒸馏推向主流。

  39. 39

    Aug 29, 2026 约 17 分钟

    Kimi k1.5:把长上下文、可验证奖励和训练系统一起扩展

    展示长上下文、多模态 RL 和 long-to-short 如何把推理 RL 扩展到视觉文本与长 CoT。

  40. 40

    Aug 29, 2026 约 13 分钟

    DAPO:让长思维链强化学习既能探索,也能稳定获得有效梯度

    可完整复现的大规模 reasoning RL 系统;把 clip-higher、dynamic sampling、token-level loss 与过长样本处理拆成可验证干预。

  41. 41

    Aug 29, 2026 约 13 分钟

    Understanding R1-Zero-Like Training:先审计 base、模板和 loss,再谈“推理涌现”

    纠正“RL 产生 aha moment”的轻率解释,检测 base-model/template 偏差与 GRPO 长度偏差,并提出 Dr.GRPO。

  42. 42

    Aug 29, 2026 约 14 分钟

    Search-R1:用最终答案奖励学习“何时搜、搜什么、何时停”

    把 RLVR 扩展到 reasoning-search 交替轨迹,并用 retrieved-token masking 避免工具返回内容进入策略梯度。

  43. 43

    Aug 29, 2026 约 14 分钟

    RAGEN:多轮智能体强化学习为何先变好、再掉进“回声陷阱”

    系统揭示多轮 RL 的 Echo Trap、reward-variance cliff、梯度尖峰和 reasoning signal 衰减。

  44. 44

    Aug 29, 2026 约 13 分钟

    SWE-RL:不用执行测试,也能从真实补丁的“相似程度”训练代码修复策略吗?

    把 rule-based RL 从竞赛代码扩展到真实软件演化与 issue repair,并检验跨域推理迁移。

  45. 45

    Aug 29, 2026 约 16 分钟

    Absolute Zero:模型自己出题、自己解题,但“零数据”究竟零掉了什么?

    把 zero-RL 从无需推理轨迹推进到模型自行出题、求解并用代码执行器验证的 reinforced self-play。

  46. 46

    Aug 29, 2026 约 15 分钟

    SPIRAL:让同一个语言模型在零和游戏里左右互搏

    建立面向 LLM 的在线、多轮、多智能体零和自博弈训练,并用 role-conditioned advantage estimation 稳定同一策略扮演双方。

  47. 47

    Aug 29, 2026 约 14 分钟

    DPPO:大词表里,概率“倍数”不是策略“距离”

    指出 PPO/GRPO ratio clipping 在超大词表下的机制缺陷,并用直接 TV/KL divergence 约束提出 DPPO。

  48. 48

    Aug 29, 2026 约 15 分钟

    ICRL for Tool Use:训练时给示范扶手,再一阶阶撤掉

    逐步移除 few-shot 工具示范,使工具调用从 prompt scaffold 转化为 RL 内化能力,避免 cold-start SFT。

  49. 49

    Aug 29, 2026 约 14 分钟

    SAGE:让出题、规划、求解和质检共同训练,但闭环仍受验证器与课程漂移约束

    把 Challenger、Planner、Solver、Critic 放入闭环共同演化,研究自生成课程的漂移与质量控制。

  50. 50

    Aug 29, 2026 约 13 分钟

    Q-Evolve:在每轮混合数据支持内分配过程信用,再用新交互进入下一轮

    用 weighted IQL critic 回传稀疏终局奖励,再以 GAE 构造过程奖励,并将更新限制在混合数据分布支持内。

  51. 51

    Aug 29, 2026 约 13 分钟

    AReaL2.0:把自进化 agent 的瓶颈从单个 RL 算法提升为数据协议、代理与控制平面

    把 agentic RL 的瓶颈提升到在线学习系统:trajectory protocol、data proxy、evolution control plane,并给出 AReaL2.0 原型。