SayCan 精读:让机器人既“会说”,又“做得到”
用机器人技能的可供性价值约束 LLM 的高层计划,使语言上合理的动作也必须在当前环境可执行。
大模型算法、训练系统与工程实践的学习笔记。
Tag
95 essays under this label.
用机器人技能的可供性价值约束 LLM 的高层计划,使语言上合理的动作也必须在当前环境可执行。
早期清楚提出由 LLM 路由外部知识源和离散推理模块的模块化架构;概念影响强但实验证据较弱。
较早提供大规模、可交互、以目标完成度计分的真实风格网页购物环境,并暴露长程网页决策差距。
把成功检测、场景描述和人类反馈写回语言上下文,明确展示闭环反馈如何修正具身计划。
把自然语言推理轨迹与环境动作交替生成,形成后来最常见的 agent 控制循环。
用自监督筛选学习何时调用 API、传什么参数以及怎样吸收返回值,是工具学习的重要基础机制;完整自治性较弱。
用角色扮演与 inception prompting 研究两个语言智能体的自主合作,是早期多智能体代表。
以记忆流、检索、反思和规划构成完整架构,并在 25 个角色的社会模拟中做组件消融。
把自动课程、可执行技能库和环境反馈迭代组合成开放式 Minecraft 终身学习 agent。
在八类交互环境中统一比较 LLM-as-agent,并定位长程推理、决策和指令遵循失败。
把 Agent–Computer Interface 作为可控研究变量,证明接口设计会显著改变软件修复能力。
同时模拟用户、领域政策和数据库终态,并用 pass^k 衡量重复执行的可靠性。
构造可控日常应用世界,并以状态单测同时检查目标完成和非预期副作用;获 ACL 最佳资源论文。
首次把选题、编码、实验、画图、写作和自动评审串成公开的端到端科研闭环;科学有效性边界必须严写。
由 Orchestrator 维护计划、进度和重规划,再调度网页、文件与 Python 专家,是通用多智能体系统代表。
让记忆条目自动建立索引、链接并随新信息演化,检验结构化长期记忆相对静态检索的增益。
用 1,400 多个真实自由职业软件任务和实际报价检验 agent 的经济可用性,而非只测合成修复题。
要求从零复现 20 篇 AI 研究论文,并把结果拆成 8,316 个可评分要求,直接测科研复现能力。
用 1,266 个答案客观但需要长程、多站点搜索的问题,隔离浏览 agent 的持续检索能力。
让 agent 修改自身代码并以可执行基准选择后代,用开放式 archive 研究可审计的自改进。
把上下文作为可累积的 playbook,通过生成、反思和整理持续演化,直接针对 brevity bias 与 context collapse。
把安全评测从单轮注入推进到跨多步自适应攻击,检验局部防御在长程任务中的失效。
在统一环境跨搜索、编码、推理与工具使用研究时序/并行 test-time scaling,并定位上下文上限与验证缺口。
把有限上下文问题表述为决策相关信息密度最大化,并联合层级记忆、压缩和 SOP/代码演化。
把长期记忆扩展到多方对话中的说话者信念、群体互动和受众适配,并显示复杂记忆系统未必胜过简单检索。
移除预打包工具和干净输入假设,测探索新工具、未见组合、噪声与欠指定请求下的端到端执行。
首次把预训练语言模型、成对文本偏好奖励、KL 约束和 PPO 结合到多个自然语言任务,是语言模型 RLHF 的直接起点。
清晰展示语言模型 + 成对偏好奖励模型 + RL 能在摘要任务上超过监督微调与参考摘要,是大模型 RLHF 里程碑。
把 GPT-3 放入浏览器环境,用行为克隆、偏好奖励与 rejection sampling 优化带引用回答,是 tool-use + human feedback 的早期范式。
把 SFT→奖励模型→PPO 三阶段 RLHF 扩展到真实而广泛的指令分布,成为现代指令对齐的标准参照。
建立公开 HH-RLHF 数据与 helpfulness/harmlessness 多目标实验,系统展示在线迭代反馈、尺度效应和奖励过度优化。
形成“宪法原则→自我批评/修订→AI 偏好→奖励模型→RL”的完整 RLAIF 范式。
提供 RL4LMs 开源库、最终版七任务 GRUE 基准和 NLPO,是早期可复现语言策略优化基础设施。
用 KL 约束 RLHF 的最优策略—奖励闭式关系,把奖励模型 + PPO 化为单阶段偏好分类损失。
用长度归一化 log-prob 排序损失取代 PPO,只需 1–2 个模型,并揭示其 best-of-n 性质。
系统比较过程监督 PRM 与结果监督 ORM,并发布 PRM800K,奠定可验证推理的过程奖励建模。
在摘要、helpful 和 harmless dialogue 上直接控制比较 RLAIF 与 RLHF,并提出直接用 LLM 打分的 d-RLAIF。
提出无 critic、用组内奖励标准化估计 baseline 的 GRPO,并把可验证答案奖励用于数学推理,是 reasoning RL 的关键算法源头。
实证表明 LLM-RLHF 不必继承 PPO 的全部复杂部件;sequence-level REINFORCE/RLOO 更便宜且在论文设置中更强。
KTO 用 prospect theory 的参照点与损失厌恶从单个 desirable/undesirable 标签学习,不需要成对偏好。
用平均序列 log-prob 作隐式奖励并加入目标 margin,同时消除 reference model,成为强力 DPO 基线。
让同一 LLM 同时生成并充当 judge 产生偏好,再迭代 DPO,开启自奖励/自改进对齐路线。
把 chat、hard chat、safety 和可验证 reasoning 组成统一奖励模型基准,暴露拒答偏置与推理弱点。
展示无人工推理轨迹的 RL 可显著激发长链推理,并把 GRPO、RLVR 与 reasoning-model 蒸馏推向主流。
展示长上下文、多模态 RL 和 long-to-short 如何把推理 RL 扩展到视觉文本与长 CoT。
可完整复现的大规模 reasoning RL 系统;把 clip-higher、dynamic sampling、token-level loss 与过长样本处理拆成可验证干预。
纠正“RL 产生 aha moment”的轻率解释,检测 base-model/template 偏差与 GRPO 长度偏差,并提出 Dr.GRPO。
把 RLVR 扩展到 reasoning-search 交替轨迹,并用 retrieved-token masking 避免工具返回内容进入策略梯度。
系统揭示多轮 RL 的 Echo Trap、reward-variance cliff、梯度尖峰和 reasoning signal 衰减。
把 rule-based RL 从竞赛代码扩展到真实软件演化与 issue repair,并检验跨域推理迁移。
把 zero-RL 从无需推理轨迹推进到模型自行出题、求解并用代码执行器验证的 reinforced self-play。
建立面向 LLM 的在线、多轮、多智能体零和自博弈训练,并用 role-conditioned advantage estimation 稳定同一策略扮演双方。
指出 PPO/GRPO ratio clipping 在超大词表下的机制缺陷,并用直接 TV/KL divergence 约束提出 DPPO。
逐步移除 few-shot 工具示范,使工具调用从 prompt scaffold 转化为 RL 内化能力,避免 cold-start SFT。
把 Challenger、Planner、Solver、Critic 放入闭环共同演化,研究自生成课程的漂移与质量控制。
用 weighted IQL critic 回传稀疏终局奖励,再以 GAE 构造过程奖励,并将更新限制在混合数据分布支持内。
把 agentic RL 的瓶颈提升到在线学习系统:trajectory protocol、data proxy、evolution control plane,并给出 AReaL2.0 原型。
从多轮 MDP、轨迹 schema、loss mask、六种信用分配(含 GiGPO 锚点状态分组)到异步 rollout、环境设计和安全。
组内相对优势、结构性失败、DeepSeek R1 四阶段管线、MoE 训推不一致机制,以及 DAPO/GSPO/CISPO/OPD 六轴坐标系。
更新至 2026-09-08:美团/vivo 招聘流程、京东与字节公开样本、冲突试卷及三篇 RL 阅读案例。
从 Bradley–Terry 到 DPO 推导,解释 beta、reference、长度偏置与训练退化,附拒绝采样与 IPO/KTO/ORPO/SimPO 家族取舍。
闭卷实现 return、GAE、PPO、DPO、GRPO,配数值题、自动测试和从 GridWorld 到小模型 RL 的项目设计。
Visual-RFT、DeepSeek-GRM、RLVR 边界与 ScaleRL,并系统讲解多奖励饱和、组梯度冲突、OPD 过滤和 Agent 信用分配。
按 2025—2026 公开实录归纳:经典 RL、PPO/DPO/GRPO、R1 管线、MoE、Agentic RL、系统与 8 月前沿,配两轮追问与评分标准。
从 2025—2026 公开岗位和面经出发,区分后训练、Reasoning RL、Agentic RL 与 RL 系统岗位,并给出零基础优先级。
梳理 rollout 与 trainer 数据流、并行和显存、TRL/verl/slime/OpenRLHF/AReaL/ROLL 选型,以及八类高频故障诊断。
拆解 actor、critic、reference 与 reward model,分优势正负解释 PPO clip,覆盖 KL 的 k1/k2/k3 估计器、“KL 能否换交叉熵”与训练排障。
字节 Seed、阿里 Token Foundry、腾讯基础模型部、百度 BMC、美团 LongCat、可灵分拆与独角兽分层——组织调整全景、方向冷热表、薪资行情与选组方法论。
投递、笔试、面试和 offer 决策总控:正式批收口、新增 Agent 岗、训练分支与风险预案。
2027 届校招当前状态表:正式批新岗位、过期批次、官方入口、毕业区间、AI Coding 与下一动作。
用概率、期望、log-derivative trick、return、value 与 Bellman 方程建立大模型 RL 的共同语言。
从 REINFORCE 推导到 baseline、Actor-Critic、GAE 和 importance sampling,为 PPO 打牢公式与数值直觉。
系统理解 bootstrap、TD error、SARSA、Q-learning、探索与价值学习,再连接到 LLM 的 critic 和 advantage。
逐步拆解 CS336 Assignment 3:IsoFLOPs 最优点选择、log-log 幂律拟合、loss 外推、B200 墙钟时间换算、实验结果过滤以及合法训练配置生成。
从零实现 byte-level BPE、RoPE Transformer、AdamW、训练与生成管线,并记录 TinyStories 在 A100 上的真实数据准备和 smoke run。
从测量方法、混合精度和 activation checkpointing 开始,逐步推导并拆解 FlashAttention、三种 DDP、optimizer state sharding 与教学型 FSDP 的实现、测试证据和工程边界。
从 WARC/WET 数据结构开始,逐步实现 HTML 提取、语言与质量过滤、PII masking、两级去重、GPT-2 tokenization、训练前检查与可复现实验报告。