SayCan 精读:让机器人既“会说”,又“做得到”
用机器人技能的可供性价值约束 LLM 的高层计划,使语言上合理的动作也必须在当前环境可执行。
大模型算法、训练系统与工程实践的学习笔记。
Tag
42 essays under this label.
用机器人技能的可供性价值约束 LLM 的高层计划,使语言上合理的动作也必须在当前环境可执行。
早期清楚提出由 LLM 路由外部知识源和离散推理模块的模块化架构;概念影响强但实验证据较弱。
较早提供大规模、可交互、以目标完成度计分的真实风格网页购物环境,并暴露长程网页决策差距。
把成功检测、场景描述和人类反馈写回语言上下文,明确展示闭环反馈如何修正具身计划。
把自然语言推理轨迹与环境动作交替生成,形成后来最常见的 agent 控制循环。
用自监督筛选学习何时调用 API、传什么参数以及怎样吸收返回值,是工具学习的重要基础机制;完整自治性较弱。
用角色扮演与 inception prompting 研究两个语言智能体的自主合作,是早期多智能体代表。
以记忆流、检索、反思和规划构成完整架构,并在 25 个角色的社会模拟中做组件消融。
把自动课程、可执行技能库和环境反馈迭代组合成开放式 Minecraft 终身学习 agent。
在八类交互环境中统一比较 LLM-as-agent,并定位长程推理、决策和指令遵循失败。
把 Agent–Computer Interface 作为可控研究变量,证明接口设计会显著改变软件修复能力。
同时模拟用户、领域政策和数据库终态,并用 pass^k 衡量重复执行的可靠性。
构造可控日常应用世界,并以状态单测同时检查目标完成和非预期副作用;获 ACL 最佳资源论文。
首次把选题、编码、实验、画图、写作和自动评审串成公开的端到端科研闭环;科学有效性边界必须严写。
由 Orchestrator 维护计划、进度和重规划,再调度网页、文件与 Python 专家,是通用多智能体系统代表。
让记忆条目自动建立索引、链接并随新信息演化,检验结构化长期记忆相对静态检索的增益。
用 1,400 多个真实自由职业软件任务和实际报价检验 agent 的经济可用性,而非只测合成修复题。
要求从零复现 20 篇 AI 研究论文,并把结果拆成 8,316 个可评分要求,直接测科研复现能力。
用 1,266 个答案客观但需要长程、多站点搜索的问题,隔离浏览 agent 的持续检索能力。
让 agent 修改自身代码并以可执行基准选择后代,用开放式 archive 研究可审计的自改进。
把上下文作为可累积的 playbook,通过生成、反思和整理持续演化,直接针对 brevity bias 与 context collapse。
把安全评测从单轮注入推进到跨多步自适应攻击,检验局部防御在长程任务中的失效。
在统一环境跨搜索、编码、推理与工具使用研究时序/并行 test-time scaling,并定位上下文上限与验证缺口。
把有限上下文问题表述为决策相关信息密度最大化,并联合层级记忆、压缩和 SOP/代码演化。
把长期记忆扩展到多方对话中的说话者信念、群体互动和受众适配,并显示复杂记忆系统未必胜过简单检索。
移除预打包工具和干净输入假设,测探索新工具、未见组合、噪声与欠指定请求下的端到端执行。
把 RLVR 扩展到 reasoning-search 交替轨迹,并用 retrieved-token masking 避免工具返回内容进入策略梯度。
系统揭示多轮 RL 的 Echo Trap、reward-variance cliff、梯度尖峰和 reasoning signal 衰减。
把 rule-based RL 从竞赛代码扩展到真实软件演化与 issue repair,并检验跨域推理迁移。
把 zero-RL 从无需推理轨迹推进到模型自行出题、求解并用代码执行器验证的 reinforced self-play。
建立面向 LLM 的在线、多轮、多智能体零和自博弈训练,并用 role-conditioned advantage estimation 稳定同一策略扮演双方。
逐步移除 few-shot 工具示范,使工具调用从 prompt scaffold 转化为 RL 内化能力,避免 cold-start SFT。
把 Challenger、Planner、Solver、Critic 放入闭环共同演化,研究自生成课程的漂移与质量控制。
用 weighted IQL critic 回传稀疏终局奖励,再以 GAE 构造过程奖励,并将更新限制在混合数据分布支持内。
把 agentic RL 的瓶颈提升到在线学习系统:trajectory protocol、data proxy、evolution control plane,并给出 AReaL2.0 原型。
说明训练数据 schema、reward 管理、多轮 token mask、工具调用、VLM 和 LoRA。