Aug 29, 2026 14 min read
《ReAct: Synergizing Reasoning and Acting in Language Models》中文精读
把自然语言推理轨迹与环境动作交替生成,形成后来最常见的 agent 控制循环。
大模型算法、训练系统与工程实践的学习笔记。
Tag
9 essays under this label.
把自然语言推理轨迹与环境动作交替生成,形成后来最常见的 agent 控制循环。
系统比较过程监督 PRM 与结果监督 ORM,并发布 PRM800K,奠定可验证推理的过程奖励建模。
提出无 critic、用组内奖励标准化估计 baseline 的 GRPO,并把可验证答案奖励用于数学推理,是 reasoning RL 的关键算法源头。
实证表明 LLM-RLHF 不必继承 PPO 的全部复杂部件;sequence-level REINFORCE/RLOO 更便宜且在论文设置中更强。
展示无人工推理轨迹的 RL 可显著激发长链推理,并把 GRPO、RLVR 与 reasoning-model 蒸馏推向主流。
展示长上下文、多模态 RL 和 long-to-short 如何把推理 RL 扩展到视觉文本与长 CoT。
可完整复现的大规模 reasoning RL 系统;把 clip-higher、dynamic sampling、token-level loss 与过长样本处理拆成可验证干预。
纠正“RL 产生 aha moment”的轻率解释,检测 base-model/template 偏差与 GRPO 长度偏差,并提出 Dr.GRPO。
指出 PPO/GRPO ratio clipping 在超大词表下的机制缺陷,并用直接 TV/KL divergence 约束提出 DPPO。