<?xml version="1.0" encoding="UTF-8"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
<channel>
  <title>Liuliming</title>
  <link>https://keepkeen.github.io/</link>
  <description>关于大模型算法、训练框架与工程实践的中文笔记：课程作业实录、源码精读、面试证据账本与求职资料。</description>
  <language>en</language>
  <lastBuildDate>Mon, 31 Aug 2026 00:00:00 GMT</lastBuildDate>
  <atom:link href="https://keepkeen.github.io/rss.xml" rel="self" type="application/rss+xml" />
  <item>
  <title>2026 年 7 月 arXiv 大模型论文精选与解析</title>
  <link>https://keepkeen.github.io/blog/arxiv-llm-papers-july-2026/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/arxiv-llm-papers-july-2026/</guid>
  <pubDate>Mon, 31 Aug 2026 00:00:00 GMT</pubDate>
  <description>从 2026 年 7 月大模型论文中精选表示学习、推理、安全、理论与 Agent 训练方向的代表工作。</description>
  <content:encoded><![CDATA[<blockquote>
<p>本文完整同步自个人求职工作区，更新于 2026-08-31。源文件及后续更新托管在 GitHub 仓库 <a href="https://github.com/keepkeen/llm-algo-job-notes">llm-algo-job-notes</a>。</p>
</blockquote>
<h2>搜索说明</h2>
<p>  我通过 arXiv API 检索了 <strong>2026 年 7 月 1 日以来</strong>（cs.CL / cs.AI / cs.LG 三大类）约 <strong>100 位顶级研究者</strong>（Stanford、Berkeley、MIT、Princeton、CMU、NYU、清华、北大、Meta FAIR、Google、MSR 等）署名的论文，共获得 <strong>449 篇</strong>，从中精选出 6 篇代表不同方向（表示学习、推理、安全/对齐、理论、社会影响、Agent 训练）的高质量工作。以下每篇均按你要的 5 个维度解析。</p>
<hr>
<h2>1. CrossBERT: 把&quot;表示学习&quot;和&quot;重建&quot;解耦的可扩展文本编码器</h2>
<p>  <strong>论文</strong>: Separating Representation from Reconstruction Enables Scalable Text Encoders
  <strong>作者</strong>: Megi Dervishi, Mathurin Videau, <strong>Yann LeCun</strong>（NYU / Meta FAIR）
  <strong>链接</strong>: <a href="https://arxiv.org/abs/2607.04011">https://arxiv.org/abs/2607.04011</a></p>
<h3>1.1 问题背景</h3>
<p>  解码器（GPT 系）这些年疯狂扩参，但编码器（BERT 系）自 2018 年以来架构几乎没变，而且缩放表现很差。作者用&quot;冻结评估&quot;（frozen probing）这一新视角发现：<strong>BERT 的表示随模型变大反而越来越&quot;不可用&quot;</strong>——perplexity 一直在降（重建能力在涨），但冻结特征在下游任务上的表现随规模增大而急剧退化，超过 500M 参数后甚至不如自己 10 倍小的模型。根因在于 BERT 的&quot;扁平设计&quot;：表示学习与 token 重建（MLM）目标强耦合，模型越大会越&quot;过度专业化&quot;于逐词重建，牺牲高层语义抽象。</p>
<h3>1.2 别人怎么解决的</h3>
<p>  主流补救是&quot;事后弥补&quot;：训练后用对比学习做后训练（SimCSE、E5、GTE 等）或加 token 级目标（MEXMA）。ELECTRA 用 RTD（判别式重建）替代 MLM，但实验显示 RTD 会进一步扭曲句向量几何。这些方法都在&quot;治标&quot;——重建目标仍然与表示耦合，只是换个方式掩盖。</p>
<h3>1.3 他们怎么解决的</h3>
<p>  提出 <strong>CrossBERT</strong>，借鉴视觉 MAE 的双部分设计：</p>
<ul>
<li><strong>输入切分</strong>：可见 token 进编码器，掩码 token 进 predictor；</li>
<li><strong>预测器是浅层模块</strong>（约编码器 1/4 深度），只与编码器表示做 cross-attention，掩码 token 之间<strong>禁止 self-attention</strong>，迫使预测器只能&quot;读&quot;编码器学到的表示来满足重建目标——表示学习和重建被物理隔离；</li>
<li>配 RoPE、RMSNorm 等现代优化；支持 ≥50% 的高掩码率，并提出 <strong>Complementary Masking Strategy</strong> 让所有 token 都有梯度，吞吐量提升 1.5–2×、样本效率提升 2×。</li>
</ul>
<h3>1.4 实验与效果</h3>
<p>  设计了&quot;冻结评估&quot;协议（GLUE 线性探针 + kNN + MTEB frozen）：</p>
<ul>
<li><strong>鲁棒性</strong>：从全量微调切到冻结评估，BERT 在 MTEB(eng,v1) 掉 10+ 分（53.9→42.1），CrossBERT 几乎不掉（冻结 53.6，保留 99%）；</li>
<li><strong>检索能力</strong>：Retrieval 任务 40.7 vs 19.2，翻倍以上（BERT/MLM 在任何规模下检索都趋近 0，结构性地学不会稠密检索）；</li>
<li><strong>规模扫描</strong>：CrossBERT 在所有规模单调提升，且大模型下&quot;冻结的 CrossBERT 甚至超过全量微调的 BERT&quot;；GLUE 线性探针比 BERT 高 6.4 分。</li>
</ul>
<h3>1.5 优缺点与改进</h3>
<ul>
<li><strong>优点</strong>：直击 BERT 缩放失效的根因（架构级修复而非后训练打补丁）；设计优雅、与具体重建目标无关；冻结特征即可用，省掉昂贵的对比微调。</li>
<li><strong>缺点</strong>：线性探针与全量微调仍有约 13 分差距（部分归因于简单的 mean-pooling）；实验以英文基准为主；预测器形状还需消融调参。</li>
<li><strong>改进方向</strong>：作者自己提出换掉 MLM 用其他前置任务、与 T5 式自回归解码器对比；也可考虑注意力式池化缩小探针差距。</li>
</ul>
<hr>
<h2>2. C-MTP: 连续思维链训练的&quot;两个世界&quot;</h2>
<p>  <strong>论文</strong>: Training Continuous Chain of Thought Models: A Tale of Two Regimes
  <strong>作者</strong>: Varun Yerram, <strong>He He</strong>（NYU）, <strong>Eunsol Choi</strong>（UT Austin）
  <strong>链接</strong>: <a href="https://arxiv.org/abs/2607.16972">https://arxiv.org/abs/2607.16972</a></p>
<h3>2.1 问题背景</h3>
<p>  连续思维链（Continuous CoT，如 Coconut、CODI）用一串密集潜向量替代冗长的文字推理链，号称能大幅加速推理（解码 N 个 token 变 N 个向量）。但此前方法训练时需<strong>自回归地逐个生成潜向量</strong>（间接监督），速度慢；且所有评估都只用简化、短（&lt;100 token）的推理痕迹，真实场景中的长痕迹（几百 token）表现未知。</p>
<h3>2.2 别人怎么解决的</h3>
<ul>
<li><strong>间接监督派</strong>（Coconut、CODI、SIM-cot）：训练时让模型自回归生成潜向量序列，再约束其与教师模型的最终隐藏状态对齐。效果好但训练慢、潜步骤数需预先固定，且 SIM-cot 发现 K 增大时潜变量退化，需逐步骤监督补救；</li>
<li><strong>直接监督派</strong>（CoLaR）：把推理痕迹每 s 个 token 压缩成一个潜向量，训练时采样子轨迹并预测整个 token 组，用参数化高斯近似多峰分布。</li>
</ul>
<h3>2.3 他们怎么解决的</h3>
<p>  提出 <strong>C-MTP</strong>（Continuous Multi-Token Prediction）：更简单的直接监督——<strong>每个潜向量 = 待压缩 CoT 片段所有 token 嵌入的平均</strong>，再用多 token 预测目标训练。无需训练时自回归生成潜向量，实现简单、训练快。</p>
<h3>2.4 实验与效果（关键发现）</h3>
<p>  在 LLaMA-3.2-1B-Instruct 等 1–1.5B 模型、数学任务、三档推理痕迹上实验：</p>
<ul>
<li>简化痕迹（GSM8k-Aug）：C-MTP 优于 CoLaR，与较慢的间接监督方法持平，且更省样本、OOD 泛化更好；</li>
<li>半自然长痕迹：间接监督反超（其循环训练能更好压缩长链，直接监督受限于原始痕迹长度、推理时 teacher-forcing 误差累积）；</li>
<li><strong>真实复杂痕迹（≥几百 token）：两类方法全部崩溃，准确率掉约 65%</strong>（只有 CoT 的 30–35%）——这是本文最重要的负面结论：现有基准高估了连续思维链的实际可用性。</li>
</ul>
<h3>2.5 优缺点与改进</h3>
<ul>
<li><strong>优点</strong>：C-MTP 简单、快、省样本；论文提供了迄今最诚实的连续 CoT 评测，暴露了领域瓶颈。</li>
<li><strong>缺点</strong>：结论局限于 1–1.5B 模型和数学任务；直接监督本身天花板受限。</li>
<li><strong>改进方向</strong>：作者建议混合方案——token 推理与潜空间推理自适应切换（SwiReasoning、ThinkRouter、LightThinker++ 等），并扩展到代码、多跳问答和更大模型。</li>
</ul>
<hr>
<h2>3. 可提取记忆的&quot;第一性原理&quot;：给记忆提取建立校准标准</h2>
<p>  <strong>论文</strong>: Extractable Memorization From First Principles
  <strong>作者</strong>: A. Feder Cooper（Yale/Stanford）, Marika Swanberg（Google Research）, Jamie Hayes（Google DeepMind）, <strong>Percy Liang</strong>（Stanford）等
  <strong>链接</strong>: <a href="https://arxiv.org/abs/2607.12649">https://arxiv.org/abs/2607.12649</a></p>
<h3>3.1 问题背景</h3>
<p>  &quot;从 LLM 里提取训练数据&quot;（extractable memorization）是隐私研究核心问题，但现有文献有<strong>两个相反的效度缺陷</strong>：一类高估——用太短的序列（分不清是记忆还是可预测性）或提示词里直接泄露目标；另一类低估——模型本来就能复述没训练过的网络文本，所以提取不足为凭。两边都缺一个关键校准：<strong>提取出的序列生成概率要高到&quot;只能用记忆解释&quot;的程度</strong>。</p>
<h3>3.2 别人怎么解决的</h3>
<p>  此前的提取攻击（提示式提取、对抗搜索、divergence attack）和记忆定义（verbatim、near-verbatim、k-extractability）都停留在&quot;跑通流程 + 人工 sanity check&quot;层面，验证环节（verify）要么缺失要么不规范，没有把对照变成校准过的决策。</p>
<h3>3.3 他们怎么解决的</h3>
<p>  提出**匹配对照（matched comparison）+ 保形检验（conformal test）**框架：</p>
<ol>
<li>对每个候选序列，测其在提示下的生成概率；</li>
<li>构造&quot;可比的非训练序列&quot;（如训练截止日后发布的维基条目）作为对照基线；</li>
<li>用保形检验把记忆判定校准到指定的假阳性率（FPR），得到个体级和总体级的记忆率估计；</li>
<li>重新定义&quot;可提取记忆&quot;：<strong>既通过校准阈值（memorized），又要在现实查询预算内能以高概率被采样出来（realistically extractable）</strong>——二者缺一不可。</li>
</ol>
<h3>3.4 实验与效果</h3>
<ul>
<li>OLMo 2 32B + 维基百科：现在流行的 10-token 短后缀提取，<strong>表观提取率中约 24% 是假阳性</strong>（纯可预测性）；</li>
<li>图书普查（固定文档 vs 匹配的非训练图书）：50-token 后缀的校准阈值低到 10⁻²⁷～10⁻²¹，意味着许多被&quot;验证为记忆&quot;的序列实际采样概率极低——用&quot;可提取记忆&quot;来称呼它们是名不副实；</li>
<li>结论：文献中大量&quot;提取概率&quot;数字既不能证明记忆（未校准），也不能证明可提取（概率太低）。</li>
</ul>
<h3>3.5 优缺点与改进</h3>
<ul>
<li><strong>优点</strong>：首次给记忆提取建立严格的统计校准框架，让&quot;记忆率&quot;可复现、可比对；对隐私诉讼等现实场景（如何证明某本书被记住了）有直接意义（作者包含 Stanford 法律学者 Lemley/Ho）。</li>
<li><strong>缺点</strong>：匹配对照的构造是 best-effort（序列分布完全对齐很难）；校准阈值低到现实不可提取时，框架给出的是&quot;记忆存在但不可提取&quot;这种微妙结论。</li>
<li><strong>改进方向</strong>：设计更好的匹配对照采样；把查询预算与提取流程的交互建模进来。</li>
</ul>
<hr>
<h2>4. Right in the Right Way: 用对抗判别器补全 RLVR 的&quot;不可验证之美&quot;</h2>
<p>  <strong>论文</strong>: Right in the Right Way: LM Training with Verifiable Rewards and Human Demonstrations
  <strong>作者</strong>: Mehul Damani, Isha Puri, Idan Shenfeld, <strong>Jacob Andreas</strong>（MIT）
  <strong>链接</strong>: <a href="https://arxiv.org/abs/2607.01181">https://arxiv.org/abs/2607.01181</a></p>
<h3>4.1 问题背景</h3>
<p>  可验证奖励强化学习（RLVR，如代码/数学上跑测试）已成为主流后训练范式，但它<strong>只优化&quot;能客观打分&quot;的部分</strong>，忽视风格、结构等主观不可验证属性，导致业界熟知的失败模式：多样性坍缩、回答腔调不自然、奖励黑客（reward hacking）。</p>
<h3>4.2 别人怎么解决的</h3>
<p>  传统两派各管一头：RLVR 管&quot;对不对&quot;，SFT/RLHF 管&quot;像不像人&quot;（靠人类偏好标注或演示）。但 RLHF 奖励模型代价高、易被劫持；纯 SFT 又达不到 RLVR 的任务上限。GAN 式文本生成（SeqGAN 等）在旧模型上有过探索，但没与可验证奖励结合。</p>
<h3>4.3 他们怎么解决的</h3>
<p>  提出 <strong>VARL（对抗生成器-判别器框架）</strong>：</p>
<ul>
<li><strong>生成器</strong>：用 RL 最大化&quot;可验证任务奖励 + 对抗奖励&quot;的加权（gated）组合；</li>
<li><strong>判别器</strong>：与策略同步训练，学会区分&quot;人类写的输出&quot;与&quot;模型输出&quot;，作为人类输出分布的学得代理，给风格、结构这些难以写成标量奖励的属性提供反馈；</li>
<li>关键工程点：判别器作用的<strong>特征空间</strong>很重要——对故事生成用&quot;摘要后的故事&quot;而非原始故事喂判别器，避免判别器依赖长度等表层特征。</li>
</ul>
<h3>4.4 实验与效果</h3>
<p>  三个领域（都保留 RLVR 的精度收益）：</p>
<ul>
<li><strong>Bug 修复</strong>：与 RLVR 基线精度持平，但编辑距离显著更低（更像人改的代码）；</li>
<li><strong>故事生成</strong>：胜率显著提升，且输出更多样、更像人类；</li>
<li><strong>奖励黑客基准</strong>：几乎完全消除模型&quot;钻空子&quot;行为，同时保持高分；</li>
<li>消融：原始故事做特征空间会降低 verifier reward 且训练震荡。</li>
</ul>
<h3>4.5 优缺点与改进</h3>
<ul>
<li><strong>优点</strong>：用最少的机制（一个判别器）把 RLVR 和 SFT 的长处接起来，是&quot;可验证目标 + 人类演示&quot;的简洁通用配方；可扩展性强于手工设计风格奖励。</li>
<li><strong>缺点</strong>：对抗训练固有的非平稳性/训练不稳定（靠工程手段压制但未根除）；特征空间选择高度影响学到的属性；需要可验证奖励 + 中等数量演示同时可用。</li>
<li><strong>改进方向</strong>：更好的奖励融合目标；特征空间自动化设计；演示稀少或 verifier 有噪的场景。</li>
</ul>
<hr>
<h2>5. LLM 检测是一场&quot;干预&quot;：战略用户行为下的下游影响</h2>
<p>  <strong>论文</strong>: LLM Detection as an Intervention: Downstream Impact under Strategic User Behavior
  <strong>作者</strong>: <strong>Meena Jagadeesan, Tatsunori Hashimoto</strong>（Stanford）, <strong>Jon Kleinberg</strong>（Cornell）
  <strong>链接</strong>: <a href="https://arxiv.org/abs/2607.19300">https://arxiv.org/abs/2607.19300</a></p>
<h3>5.1 问题背景</h3>
<p>  检测 AI 生成内容（水印、分类器、语言风格启发式）被越来越多的机构当作&quot;干预手段&quot;来治理 AI 滥用。但<strong>检测器不只影响被检测属性本身，还会改变用户如何激励性地使用 LLM</strong>——用户会策略性地决定&quot;用多少 LLM、怎么后处理规避检测&quot;。不完美的检测器在这种博弈下可能产生反直觉的负面效果。</p>
<h3>5.2 别人怎么解决的</h3>
<p>  已有工作（Liang et al. 量化论文中 LLM 使用率、Geng &amp; Trotta 的人机共进化）大多只做<strong>描述性测量</strong>（检测率、词频变化），缺少对用户激励反应的建模；检测文献（水印、分类器）则聚焦检测精度本身，几乎不分析检测作为干预对下游指标的影响。</p>
<h3>5.3 他们怎么解决的</h3>
<p>  构建一个<strong>精简的博弈论模型</strong>：用户按效用最大化选择 LLM 使用比例 α 和后处理强度（降低被检测属性），检测器按被检测属性施加惩罚。从均衡中推导出可证的反直觉结论：</p>
<ul>
<li><strong>检测可能反而让人类更多使用 LLM</strong>（当检测属性与质量提升相关时，用户通过&quot;更多使用+更少后处理&quot;对冲惩罚）；</li>
<li>即使被检测属性本身是降质量的，引入检测器仍可能让输出质量<strong>更差</strong>；</li>
<li>检测器对&quot;被检测属性&quot;本身总是产生干净的&quot;先升后降&quot;（rise-then-fall）模式。</li>
</ul>
<h3>5.4 实验与效果</h3>
<ul>
<li>理论：均衡分析 + 定理刻画上述效应；并证明即使惩罚任意大，劣化效应依然存在；检测&quot;质量提升型特征&quot;能保证弱化 LLM 使用，但消除不了质量扭曲；</li>
<li>实证：2013–2025 年 arXiv 摘要词频分析（GPT-5.4-mini 作为风格词裁判），<strong>LLM 时代风格词呈现显著更多的&quot;先升后降&quot;模式</strong>，与模型预测一致。</li>
</ul>
<h3>5.5 优缺点与改进</h3>
<ul>
<li><strong>优点</strong>：把检测从&quot;度量问题&quot;重构为&quot;博弈干预问题&quot;，理论干净、有实证呼应，对政策制定（该检测什么特征）有直接启示。</li>
<li><strong>缺点</strong>：模型是 stylized 的（线性质量函数、同质用户、理想化后处理）；实证仅覆盖词频一种属性。</li>
<li><strong>改进方向</strong>：异质用户与多检测器博弈、动态检测策略、把水印等具体机制纳入模型。</li>
</ul>
<hr>
<h2>6. SAO: 单次 rollout 的异步强化学习，驯服 Agent 训练</h2>
<p>  <strong>论文</strong>: Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning
  <strong>作者</strong>: Zhenyu Hou, Yujiang Li, <strong>Jie Tang, Yuxiao Dong</strong>（清华大学；实习于 Z.AI）
  <strong>链接</strong>: <a href="https://arxiv.org/abs/2607.07508">https://arxiv.org/abs/2607.07508</a></p>
<h3>6.1 问题背景</h3>
<p>  RL 已成为 LLM 后训练的核心，但传统 RL 流水线是<strong>同步、批量交替</strong>的：等一批 rollout 全部完成才更新一次模型，对长时程 Agent 任务（一次轨迹可能几万 token）效率极低。异步 RL（边出 rollout 边更新）是出路，但现有异步系统只强调吞吐量，<strong>训练稳定性与 off-policy 问题几乎没人系统解决</strong>——尤其 GRPO 依赖组内相对奖励的 group-wise 采样，天然不适配&quot;每个提示只有一条轨迹&quot;的异步 Agent 训练。</p>
<h3>6.2 别人怎么解决的</h3>
<p>  GRPO 系（含 VAPO 等带 clip-higher、重要性采样的改进）是当前主流，但同步+组采样；异步 RL 系统（如各种 async RLHF/RLVR 框架）把 GRPO 硬搬到异步场景，导致训练坍塌、策略漂移。</p>
<h3>6.3 他们怎么解决的</h3>
<p>  提出 <strong>SAO（Single-rollout Asynchronous Optimization）</strong>，三件套：</p>
<ul>
<li><strong>单 rollout 采样</strong>：每个 prompt 只采一条轨迹，替代组采样，从根上消除组内相对基线带来的 off-policy 偏差，并天然适配异步与在线学习；</li>
<li><strong>值模型（critic）优势估计</strong>：用训练的值模型替代组内均值做 baseline（配合精心设计的价值模型训练方案），单条轨迹也能算 advantage；</li>
<li><strong>严格的双侧 token 级裁剪</strong>：稳定策略更新，防止异步陈旧数据导致的策略跳变。</li>
</ul>
<h3>6.4 实验与效果</h3>
<p>  基于 Qwen3-30B-A3B，覆盖 Agent 推理、代码与在线写作模拟：</p>
<ul>
<li>标准 GRPO 在约 <strong>160 步即性能坍塌</strong>；GRPO+DIS（其提出的去偏采样）可稳定但效果不如 SAO；</li>
<li><strong>SAO 稳定训练 1000 步</strong>，在 Agent 推理和代码基准上一致超过 GRPO 及其变体；</li>
<li>在线学习模拟（奖励偏好随时间切换的写作风格任务）：SAO 能随环境反馈快速对齐新偏好，优于 Running-Mean 基线。</li>
</ul>
<h3>6.5 优缺点与改进</h3>
<ul>
<li><strong>优点</strong>：解决了异步 Agent RL 的稳定性/off-policy 真问题，工程与算法结合紧密；在线学习能力是未来 Agent 持续自我进化的关键。</li>
<li><strong>缺点</strong>：依赖值模型与 rollout log-prob 基础设施（异步生成时保存 token 级概率）；结论基于 30B MoE 的 Agent/代码任务，未必迁移到小模型、稠密奖励或传统 RLHF。</li>
<li><strong>改进方向</strong>：扩展到小模型与非 Agent 场景、真实在线环境的安全护栏。</li>
</ul>
<hr>
<h2>小结对比</h2>
<table>
<thead>
<tr>
<th>论文</th>
<th>大牛/组</th>
<th>方向</th>
<th>一句话贡献</th>
<th>最大亮点</th>
</tr>
</thead>
<tbody><tr>
<td>CrossBERT</td>
<td>Yann LeCun (NYU)</td>
<td>表示学习</td>
<td>双部分架构解耦表示与重建</td>
<td>冻结特征随规模单调提升，推翻&quot;BERT 缩放失效&quot;</td>
</tr>
<tr>
<td>C-MTP</td>
<td>He He / Eunsol Choi</td>
<td>推理效率</td>
<td>均值池化直接监督连续思维链</td>
<td>揭示长痕迹下连续 CoT 全面崩溃（-65%）</td>
</tr>
<tr>
<td>Extractable Memorization</td>
<td>Percy Liang (Stanford)</td>
<td>安全/理论</td>
<td>保形检验校准记忆提取声明</td>
<td>证明短序列提取 ~24% 是假阳性</td>
</tr>
<tr>
<td>Right in the Right Way</td>
<td>Jacob Andreas (MIT)</td>
<td>对齐/训练</td>
<td>RLVR+对抗判别器（VARL）</td>
<td>保精度的同时消除风格坍缩与奖励黑客</td>
</tr>
<tr>
<td>LLM Detection as Intervention</td>
<td>Hashimoto/Kleinberg</td>
<td>社会影响</td>
<td>检测=博弈干预的均衡分析</td>
<td>证明检测可能反增 LLM 使用、降低质量</td>
</tr>
<tr>
<td>SAO</td>
<td>Jie Tang (清华)</td>
<td>Agent 训练</td>
<td>单 rollout+值模型+双侧裁剪</td>
<td>异步 Agent RL 稳定训练 1000 步</td>
</tr>
</tbody></table>
<h2><strong>总体趋势观察</strong>：本月大牛组论文的焦点明显从&quot;造更大的模型&quot;转向 ① 对现有范式的批判性重估（CrossBERT 质疑 BERT 缩放、C-MTP 质疑连续思维链、记忆论文质疑提取方法、检测论文质疑检测治理）；② 稳定可靠的训练算法（SAO、VARL）；③ 形式化的验证与校准（保形检验、博弈均衡）。如果你想深入读某一篇的全文，我可以帮你把相应章节（如 SAO 的 DIS 细节、CrossBERT 的 Complementary Masking 具体实现）再展开。</h2>
<p>原始文档：<a href="https://github.com/keepkeen/llm-algo-job-notes/blob/main/%E7%AC%94%E8%AF%95/%E7%BA%AF%E5%8A%9B%E6%89%A3%E7%AE%97%E6%B3%95/%E5%9F%BA%E7%A1%80/2026%20%E5%B9%B4%207%20%E6%9C%88%20arXiv%20%E5%A4%A7%E7%89%9B%E7%BB%84%E5%A4%A7%E6%A8%A1%E5%9E%8B%E8%AE%BA%E6%96%87%E7%B2%BE%E9%80%89%E4%B8%8E%E8%A7%A3%E6%9E%90.md">GitHub 源文件</a>。</p>
]]></content:encoded>
  <category>algorithms</category>
  <category>leetcode</category>
  <category>interview</category>
</item>
<item>
  <title>LeetCode Hot100 · 缺失 27 题完整补充</title>
  <link>https://keepkeen.github.io/blog/hot100-missing-27-problems/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/hot100-missing-27-problems/</guid>
  <pubDate>Mon, 31 Aug 2026 00:00:00 GMT</pubDate>
  <description>补齐两份算法模板中尚无独立代码的 27 道官方 Hot100 题，形成完整 100 题复习卡。</description>
  <content:encoded><![CDATA[<blockquote>
<p>本文完整同步自个人求职工作区，更新于 2026-08-31。源文件及后续更新托管在 GitHub 仓库 <a href="https://github.com/keepkeen/llm-algo-job-notes">llm-algo-job-notes</a>。</p>
</blockquote>
<blockquote>
<p>本文补齐《Hot100 算法模板与决策术》和《Hot100 补充篇》中尚无独立代码的 27 道官方 Hot100 题。代码采用 LeetCode 核心函数形式，链表和树节点类型由平台提供。</p>
</blockquote>
<h2>11. 盛最多水的容器</h2>
<p><strong>题目卡</strong>：给定若干竖线的高度，选择两条线与横轴组成容器，求能盛水的最大面积。</p>
<pre><code class="language-python">def max_area(height):
    left, right = 0, len(height) - 1
    best = 0
    while left &lt; right:
        best = max(best, (right - left) * min(height[left], height[right]))
        if height[left] &lt;= height[right]:
            left += 1
        else:
            right -= 1
    return best
</code></pre>
<h2>239. 滑动窗口最大值</h2>
<p><strong>题目卡</strong>：给定数组和窗口大小 k，返回窗口从左向右移动时每个位置的最大值。</p>
<pre><code class="language-python">from collections import deque

def max_sliding_window(nums, k):
    queue = deque()  # 下标单调递减队列
    answer = []
    for right, value in enumerate(nums):
        while queue and queue[0] &lt;= right - k:
            queue.popleft()
        while queue and nums[queue[-1]] &lt;= value:
            queue.pop()
        queue.append(right)
        if right &gt;= k - 1:
            answer.append(nums[queue[0]])
    return answer
</code></pre>
<h2>56. 合并区间</h2>
<p><strong>题目卡</strong>：给定若干区间，合并所有重叠区间并返回互不重叠的结果。</p>
<pre><code class="language-python">def merge_intervals(intervals):
    if not intervals:
        return []
    intervals = sorted(intervals)
    merged = [intervals[0][:]]
    for start, end in intervals[1:]:
        if start &lt;= merged[-1][1]:
            merged[-1][1] = max(merged[-1][1], end)
        else:
            merged.append([start, end])
    return merged
</code></pre>
<h2>160. 相交链表</h2>
<p><strong>题目卡</strong>：给定两个单链表的头节点，找出它们开始相交的节点；若不相交则返回空。</p>
<pre><code class="language-python">def get_intersection_node(head_a, head_b):
    a, b = head_a, head_b
    while a is not b:
        a = a.next if a else head_b
        b = b.next if b else head_a
    return a
</code></pre>
<h2>234. 回文链表</h2>
<p><strong>题目卡</strong>：判断一个单链表的节点值序列是否为回文，并在判断后恢复链表。</p>
<pre><code class="language-python">def is_palindrome(head):
    if not head or not head.next:
        return True
    slow = fast = head
    while fast.next and fast.next.next:
        slow = slow.next
        fast = fast.next.next

    prev, cur = None, slow.next
    while cur:
        cur.next, prev, cur = prev, cur, cur.next
    second_head = prev

    left, right = head, second_head
    result = True
    while right:
        if left.val != right.val:
            result = False
            break
        left, right = left.next, right.next

    prev, cur = None, second_head
    while cur:
        cur.next, prev, cur = prev, cur, cur.next
    slow.next = prev
    return result
</code></pre>
<h2>141. 环形链表</h2>
<p><strong>题目卡</strong>：判断单链表中是否存在环。</p>
<pre><code class="language-python">def has_cycle(head):
    slow = fast = head
    while fast and fast.next:
        slow = slow.next
        fast = fast.next.next
        if slow is fast:
            return True
    return False
</code></pre>
<h2>142. 环形链表 II</h2>
<p><strong>题目卡</strong>：若单链表存在环，返回环的入口节点；否则返回空。</p>
<pre><code class="language-python">def detect_cycle_entry(head):
    slow = fast = head
    while fast and fast.next:
        slow = slow.next
        fast = fast.next.next
        if slow is fast:
            break
    else:
        return None
    finder = head
    while finder is not slow:
        finder = finder.next
        slow = slow.next
    return finder
</code></pre>
<h2>2. 两数相加</h2>
<p><strong>题目卡</strong>：两个链表以逆序数字表示非负整数，返回它们相加后的逆序链表。</p>
<pre><code class="language-python">def add_two_numbers(l1, l2):
    dummy = tail = ListNode(0)
    carry = 0
    while l1 or l2 or carry:
        total = carry
        if l1:
            total += l1.val
            l1 = l1.next
        if l2:
            total += l2.val
            l2 = l2.next
        carry, digit = divmod(total, 10)
        tail.next = ListNode(digit)
        tail = tail.next
    return dummy.next
</code></pre>
<h2>148. 排序链表</h2>
<p><strong>题目卡</strong>：在 O(n log n) 时间内将单链表按升序排列。</p>
<pre><code class="language-python">def sort_list(head):
    if not head or not head.next:
        return head

    slow, fast = head, head.next
    while fast and fast.next:
        slow = slow.next
        fast = fast.next.next
    right = slow.next
    slow.next = None
    left = sort_list(head)
    right = sort_list(right)

    dummy = tail = ListNode(0)
    while left and right:
        if left.val &lt;= right.val:
            tail.next, left = left, left.next
        else:
            tail.next, right = right, right.next
        tail = tail.next
    tail.next = left or right
    return dummy.next
</code></pre>
<h2>23. 合并 K 个升序链表</h2>
<p><strong>题目卡</strong>：合并 k 个升序链表，返回一条升序链表。</p>
<pre><code class="language-python">import heapq

def merge_k_lists(lists):
    heap = []
    serial = 0
    for node in lists:
        if node:
            heapq.heappush(heap, (node.val, serial, node))
            serial += 1
    dummy = tail = ListNode(0)
    while heap:
        _, _, node = heapq.heappop(heap)
        tail.next = node
        tail = node
        if node.next:
            heapq.heappush(heap, (node.next.val, serial, node.next))
            serial += 1
    return dummy.next
</code></pre>
<h2>226. 翻转二叉树</h2>
<p><strong>题目卡</strong>：交换二叉树中每个节点的左右子树，并返回根节点。</p>
<pre><code class="language-python">def invert_tree(root):
    if not root:
        return None
    root.left, root.right = invert_tree(root.right), invert_tree(root.left)
    return root
</code></pre>
<h2>199. 二叉树的右视图</h2>
<p><strong>题目卡</strong>：返回从二叉树右侧观察时从上到下能看到的节点值。</p>
<pre><code class="language-python">from collections import deque

def right_side_view(root):
    if not root:
        return []
    queue, answer = deque([root]), []
    while queue:
        level_size = len(queue)
        for i in range(level_size):
            node = queue.popleft()
            if node.left:
                queue.append(node.left)
            if node.right:
                queue.append(node.right)
            if i == level_size - 1:
                answer.append(node.val)
    return answer
</code></pre>
<h2>124. 二叉树中的最大路径和</h2>
<p><strong>题目卡</strong>：二叉树中的路径可从任意节点开始和结束，求所有非空路径的最大节点值之和。</p>
<pre><code class="language-python">def max_path_sum(root):
    best = float(&quot;-inf&quot;)

    def gain(node):
        nonlocal best
        if not node:
            return 0
        left = max(gain(node.left), 0)
        right = max(gain(node.right), 0)
        best = max(best, node.val + left + right)
        return node.val + max(left, right)

    gain(root)
    return best
</code></pre>
<h2>22. 括号生成</h2>
<p><strong>题目卡</strong>：给定括号对数 n，生成所有有效的括号组合。</p>
<pre><code class="language-python">def generate_parenthesis(n):
    answer = []

    def dfs(path, opened, closed):
        if len(path) == 2 * n:
            answer.append(&quot;&quot;.join(path))
            return
        if opened &lt; n:
            path.append(&quot;(&quot;)
            dfs(path, opened + 1, closed)
            path.pop()
        if closed &lt; opened:
            path.append(&quot;)&quot;)
            dfs(path, opened, closed + 1)
            path.pop()

    dfs([], 0, 0)
    return answer
</code></pre>
<h2>131. 分割回文串</h2>
<p><strong>题目卡</strong>：将字符串分割成若干子串，使每个子串都是回文串，返回所有分割方案。</p>
<pre><code class="language-python">def partition_palindromes(s):
    answer, path = [], []

    def is_palindrome(left, right):
        while left &lt; right:
            if s[left] != s[right]:
                return False
            left += 1
            right -= 1
        return True

    def dfs(start):
        if start == len(s):
            answer.append(path[:])
            return
        for end in range(start, len(s)):
            if is_palindrome(start, end):
                path.append(s[start:end + 1])
                dfs(end + 1)
                path.pop()

    dfs(0)
    return answer
</code></pre>
<h2>51. N 皇后</h2>
<p><strong>题目卡</strong>：在 n×n 棋盘放置 n 个皇后，使其互不攻击，返回所有不同布局。</p>
<pre><code class="language-python">def solve_n_queens(n):
    answer, queens = [], []
    columns, diagonals1, diagonals2 = set(), set(), set()

    def dfs(row):
        if row == n:
            board = []
            for col in queens:
                board.append(&quot;.&quot; * col + &quot;Q&quot; + &quot;.&quot; * (n - col - 1))
            answer.append(board)
            return
        for col in range(n):
            if col in columns or row - col in diagonals1 or row + col in diagonals2:
                continue
            queens.append(col)
            columns.add(col); diagonals1.add(row - col); diagonals2.add(row + col)
            dfs(row + 1)
            queens.pop()
            columns.remove(col); diagonals1.remove(row - col); diagonals2.remove(row + col)

    dfs(0)
    return answer
</code></pre>
<h2>74. 搜索二维矩阵</h2>
<p><strong>题目卡</strong>：矩阵每行递增且下一行首元素大于上一行尾元素，判断目标值是否存在。</p>
<pre><code class="language-python">def search_matrix_flat(matrix, target):
    if not matrix or not matrix[0]:
        return False
    rows, cols = len(matrix), len(matrix[0])
    left, right = 0, rows * cols
    while left &lt; right:
        mid = (left + right) // 2
        value = matrix[mid // cols][mid % cols]
        if value &lt; target:
            left = mid + 1
        else:
            right = mid
    return left &lt; rows * cols and matrix[left // cols][left % cols] == target
</code></pre>
<h2>34. 在排序数组中查找元素的第一个和最后一个位置</h2>
<p><strong>题目卡</strong>：在非递减数组中以 O(log n) 时间返回目标值的起始和结束下标。</p>
<pre><code class="language-python">def search_range(nums, target):
    def lower_bound(value):
        left, right = 0, len(nums)
        while left &lt; right:
            mid = (left + right) // 2
            if nums[mid] &lt; value:
                left = mid + 1
            else:
                right = mid
        return left

    left = lower_bound(target)
    right = lower_bound(target + 1) - 1
    if left == len(nums) or nums[left] != target:
        return [-1, -1]
    return [left, right]
</code></pre>
<h2>153. 寻找旋转排序数组中的最小值</h2>
<p><strong>题目卡</strong>：在元素互不相同的旋转升序数组中，以 O(log n) 时间找出最小值。</p>
<pre><code class="language-python">def find_min_rotated(nums):
    left, right = 0, len(nums) - 1
    while left &lt; right:
        mid = (left + right) // 2
        if nums[mid] &gt; nums[right]:
            left = mid + 1
        else:
            right = mid
    return nums[left]
</code></pre>
<h2>4. 寻找两个正序数组的中位数</h2>
<p><strong>题目卡</strong>：给定两个正序数组，在 O(log(m+n)) 时间内求合并后的中位数。</p>
<pre><code class="language-python">def find_median_sorted_arrays(nums1, nums2):
    if len(nums1) &gt; len(nums2):
        nums1, nums2 = nums2, nums1
    m, n = len(nums1), len(nums2)
    left, right = 0, m
    half = (m + n + 1) // 2
    while left &lt;= right:
        i = (left + right) // 2
        j = half - i
        a_left = nums1[i - 1] if i else float(&quot;-inf&quot;)
        a_right = nums1[i] if i &lt; m else float(&quot;inf&quot;)
        b_left = nums2[j - 1] if j else float(&quot;-inf&quot;)
        b_right = nums2[j] if j &lt; n else float(&quot;inf&quot;)
        if a_left &gt; b_right:
            right = i - 1
        elif b_left &gt; a_right:
            left = i + 1
        else:
            if (m + n) % 2:
                return max(a_left, b_left)
            return (max(a_left, b_left) + min(a_right, b_right)) / 2
    raise ValueError(&quot;Input arrays must be sorted&quot;)
</code></pre>
<h2>394. 字符串解码</h2>
<p><strong>题目卡</strong>：解码形如 k[encoded_string] 的字符串，其中括号可以嵌套。</p>
<pre><code class="language-python">def decode_string(s):
    stack = []
    current, number = &quot;&quot;, 0
    for char in s:
        if char.isdigit():
            number = number * 10 + int(char)
        elif char == &quot;[&quot;:
            stack.append((current, number))
            current, number = &quot;&quot;, 0
        elif char == &quot;]&quot;:
            prefix, repeat = stack.pop()
            current = prefix + current * repeat
        else:
            current += char
    return current
</code></pre>
<h2>70. 爬楼梯</h2>
<p><strong>题目卡</strong>：每次可以爬1或2级台阶，求到达第 n 级共有多少种不同方法。</p>
<pre><code class="language-python">def climb_stairs(n):
    previous, current = 0, 1
    for _ in range(n):
        previous, current = current, previous + current
    return current
</code></pre>
<h2>139. 单词拆分</h2>
<p><strong>题目卡</strong>：判断字符串能否由字典中的一个或多个单词拼接而成，字典单词可重复使用。</p>
<pre><code class="language-python">def word_break(s, word_dict):
    words = set(word_dict)
    max_length = max(map(len, words), default=0)
    reachable = [False] * (len(s) + 1)
    reachable[0] = True
    for end in range(1, len(s) + 1):
        start_min = max(0, end - max_length)
        for start in range(start_min, end):
            if reachable[start] and s[start:end] in words:
                reachable[end] = True
                break
    return reachable[-1]
</code></pre>
<h2>152. 乘积最大子数组</h2>
<p><strong>题目卡</strong>：给定整数数组，求乘积最大的非空连续子数组的乘积。</p>
<pre><code class="language-python">def max_product(nums):
    current_max = current_min = answer = nums[0]
    for value in nums[1:]:
        if value &lt; 0:
            current_max, current_min = current_min, current_max
        current_max = max(value, current_max * value)
        current_min = min(value, current_min * value)
        answer = max(answer, current_max)
    return answer
</code></pre>
<h2>32. 最长有效括号</h2>
<p><strong>题目卡</strong>：给定只含左右括号的字符串，求最长有效连续括号子串的长度。</p>
<pre><code class="language-python">def longest_valid_parentheses(s):
    stack = [-1]
    best = 0
    for index, char in enumerate(s):
        if char == &quot;(&quot;:
            stack.append(index)
        else:
            stack.pop()
            if not stack:
                stack.append(index)
            else:
                best = max(best, index - stack[-1])
    return best
</code></pre>
<h2>62. 不同路径</h2>
<p><strong>题目卡</strong>：机器人只能向右或向下移动，求从 m×n 网格左上角到右下角的不同路径数。</p>
<pre><code class="language-python">def unique_paths(m, n):
    dp = [1] * n
    for _ in range(1, m):
        for col in range(1, n):
            dp[col] += dp[col - 1]
    return dp[-1]
</code></pre>
<h2>1143. 最长公共子序列</h2>
<p><strong>题目卡</strong>：给定两个字符串，求它们最长公共子序列的长度。</p>
<pre><code class="language-python">def longest_common_subsequence(text1, text2):
    if len(text1) &lt; len(text2):
        text1, text2 = text2, text1
    dp = [0] * (len(text2) + 1)
    for char1 in text1:
        diagonal = 0
        for j, char2 in enumerate(text2, 1):
            above = dp[j]
            if char1 == char2:
                dp[j] = diagonal + 1
            else:
                dp[j] = max(dp[j], dp[j - 1])
            diagonal = above
    return dp[-1]
</code></pre>
<hr>
<p>原始文档：<a href="https://github.com/keepkeen/llm-algo-job-notes/blob/main/%E7%AC%94%E8%AF%95/%E7%BA%AF%E5%8A%9B%E6%89%A3%E7%AE%97%E6%B3%95/%E5%9F%BA%E7%A1%80/Hot100%E7%BC%BA%E5%A4%B127%E9%A2%98%C2%B7Kindle%E8%A1%A5%E5%85%85.md">GitHub 源文件</a>。</p>
]]></content:encoded>
  <category>algorithms</category>
  <category>leetcode</category>
  <category>interview</category>
</item>
<item>
  <title>2025–2026 国内大厂 Agent 面经：从 RAG 到 Harness Engineering</title>
  <link>https://keepkeen.github.io/blog/china-agent-interview-guide-2025-2026/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/china-agent-interview-guide-2025-2026/</guid>
  <pubDate>Sun, 30 Aug 2026 00:00:00 GMT</pubDate>
  <description>基于公开一手面经、官方岗位与结构化旁证，梳理国内大厂 Agent 岗年度变化、公司画像、硬题答法、题单和 14 天准备路线。</description>
  <content:encoded><![CDATA[<blockquote>
<p>检索截止：2026-08-30。本文覆盖公开的一手面经、官方招聘/JD、公司技术文章和两份结构化面经索引，并结合本项目对 Pi、OpenAI Codex、DeepSeek Harness、Claude Code 的源码分析。它是一份准备指南，不是任何公司的官方题库。</p>
</blockquote>
<h2>先说结论</h2>
<p>2025 到 2026 的变化，不是 RAG、Transformer 和后端基础突然不考了，而是面试官开始把问题继续向模型外面的控制系统推进。</p>
<p>2025 年公开样本的共同底座主要是：Transformer/Attention、LoRA/SFT/DPO/PPO/GRPO，RAG 的切块、Embedding、混合检索与 Rerank，ReAct、Function Calling、LangChain/LangGraph，以及项目深挖、算法和数据库/缓存/消息队列。2025 年第四季度已经有少量深题进入 Claude Code/Cursor 上下文压缩、Reflection、工具失败归因和多 Agent；因此这里不是“2026 突然发明新范式”的断崖式切换。</p>
<p>2026 年这些内容仍然存在，变化在于下面这些主题开始跨公司、跨岗位反复出现，并被当前 JD 明确写成 Runtime/Harness 能力：</p>
<ul>
<li>Agent Loop 与 Harness/Orchestrator 的边界；</li>
<li>Prompt Engineering、Context Engineering、Harness Engineering 的演进；</li>
<li>Coding Agent 的上下文装配、压缩、Checkpoint、恢复和路径震荡；</li>
<li>Skill、Tool、Function Calling、MCP、A2A 与 Subagent 的边界；</li>
<li>工具越权、Human-in-the-loop、Permission、Sandbox、凭证隔离与审计；</li>
<li>多 Agent 的共享状态、并发、取消、预算和文件冲突；</li>
<li>Outcome、Trajectory、Tool、Safety、Latency、Token/Cost 的分层 Eval；</li>
<li>Claude Code、Codex、DeepSeek Harness、OpenClaw、Hermes 等真实系统的架构或源码比较；</li>
<li>AI Coding/Vibe Coding/Spec Coding 作为口头题，甚至直接进入现场编码或正式机考。</li>
</ul>
<p>因此，2026 年的分水岭已经从“会不会用框架搭一个 Demo”，移到“能不能解释控制面、失败路径和验证证据”。但另一个同样重要的结论是：<strong>传统工程基础没有消失</strong>。京东、华为、美团、腾讯、蚂蚁、拼多多等样本仍在同一轮里考 Java/Go/Python、并发、MySQL/Redis/MQ、网络、操作系统和手撕算法。</p>
<p>还有一条比“厂味”更可靠的规律：<strong>岗位类型通常比公司名称更能预测题目。</strong> 同一家公司里的 Agent 应用开发、Agent 算法/RL、Agent Runtime/Harness，题目差异往往大于不同公司同类岗位之间的差异。</p>
<h2>一、证据怎么筛</h2>
<h3>1. 证据等级</h3>
<table>
<thead>
<tr>
<th>等级</th>
<th>来源</th>
<th>能证明什么</th>
<th>不能证明什么</th>
</tr>
</thead>
<tbody><tr>
<td>A</td>
<td>公司官网、官方 JD、官方技术文章</td>
<td>当前岗位、产品和技术方向</td>
<td>不能单独证明某道题真的问过</td>
</tr>
<tr>
<td>B</td>
<td>第一人称面经，有岗位、轮次、日期/时长和自然的个人复盘</td>
<td>该候选人在该团队的大概率真实经历</td>
<td>不能外推为全公司统一题库</td>
</tr>
<tr>
<td>C</td>
<td>保留原帖线索的汇总、开源结构化样本、可信转载</td>
<td>发现重复主题、补充检索入口</td>
<td>不能与原帖重复计数，也不能替代一手来源</td>
</tr>
<tr>
<td>D</td>
<td>卖课/内推引流、SEO 拼接、“每题标准答案”、标题正文公司不一致、时间矛盾</td>
<td>只作为搜索线索</td>
<td>不进入公司画像和趋势判断</td>
</tr>
</tbody></table>
<p>本文特意排除了多类看起来很“完整”、实际不可靠的材料：同一账号连续发布多家公司“被问麻了”且每题附标准答案；把 2025 内容重新包装为 2026；标题写拼多多、正文却写快手；含博彩/广告域名；以及无法回溯原始面经的题库文章。</p>
<h3>2. 可用的结构化旁证</h3>
<p>开源项目 <a href="https://github.com/smile-struggler/kaomian"><code>smile-struggler/kaomian</code></a> 披露的快照覆盖 2025-03-22 至 2026-04-18：抓取 767 帖，保留 248 帖，抽取 948 个问题并归并为 638 个 canonical question。它的高频项依次包含 Agent 评估、Agent 难点、场景流程设计、指标构建、多智能体协作、上下文超窗、工具参数幻觉、记忆、工具失败/超时与 Skill。</p>
<p>这组统计有价值，但不能当成无误的真题数据库：流水线使用 Qwen3-VL 做筛选、OCR、结构化抽取和语义归并，仓库又没有公开全部原始帖子。因此，本文只用它证明“多个独立样本反复触及哪些主题”，不据此计算公司的精确出题率。</p>
<p>另一份 <a href="https://github.com/Zchary1106/agent-interview-hub"><code>agent-interview-hub</code></a> 在 2026-08-13 生成了 51 条候选索引，含来源链接或小红书站内检索提示。本文把它当作导航，并回到可访问原帖交叉核对。</p>
<h3>3. 这份面经的边界</h3>
<ul>
<li>公开样本明显偏校招、实习和一面，社招高级岗位、主管面与内部转岗样本更少。</li>
<li>牛客很多页面只显示月日。无法从帖子、评论和招聘届次共同确认年份的条目，不用于年度趋势核心判断。</li>
<li>同一公司不同 BG、业务线甚至面试官的差异非常大。下文的“公司倾向”都是有限样本归纳。</li>
<li>源码可以证明实现机制，不能直接推出成功率、模型质量、成本或 benchmark 排名。</li>
<li>Claude Code 的详细实现只以本项目验证过的 npm 2.1.88 source map 为证据；2.1.251 已是 wrapper + 原生二进制，不能把旧实现无条件外推到最新版。</li>
</ul>
<h2>二、先按岗位分型，再看公司</h2>
<h3>1. Agent 应用/全栈开发</h3>
<p>典型任务是客服、知识问答、投研、数据分析、办公、营销、运维和企业数字员工。面试重点通常是：</p>
<ul>
<li>为什么需要 Agent，而不是一次 LLM 调用或固定 Workflow；</li>
<li>RAG 全链路、意图识别、Prompt/Context、Tool Calling；</li>
<li>SSE/WebSocket、异步任务、数据库、缓存、MQ、限流与幂等；</li>
<li>项目是否真的上线、用户是谁、失败成本是什么、指标如何得到；</li>
<li>幻觉、超时、重试、人工接管、降级和线上排障。</li>
</ul>
<h3>2. Agent 算法/后训练</h3>
<p>这类岗位不是“会调 API”即可。常见深挖包括：</p>
<ul>
<li>Agent trajectory 与普通 SFT 语料的差别；</li>
<li>工具调用、环境 Observation、最终回答的 loss mask；</li>
<li>SFT、DPO、PPO、GRPO、RLVR 何时使用；</li>
<li>reward/verifier、credit assignment、reward hacking；</li>
<li>数据合成、正负样本、长度偏差、训练—服务分布偏移；</li>
<li>规划、搜索、Memory、工具选择、长程任务与 test-time scaling。</li>
</ul>
<h3>3. Agent Runtime/Harness/Infra</h3>
<p>2026 年增长最明显的一类。面试会把“模型能不能回答”转成“系统能不能稳定执行”：</p>
<ul>
<li>Agent Loop、Task/Turn/Step 状态机和 Early Stop；</li>
<li>Context assembly、Compaction、Checkpoint/Resume、Event Log；</li>
<li>Tool registry/router、动态发现、并发门、结果规范化；</li>
<li>Approval、Permission、Sandbox、凭证、租户与网络/文件边界；</li>
<li>Runtime、模型网关、流式、语义缓存、熔断与故障恢复；</li>
<li>Trace/Metric/Log、回放、Eval、成本和容量规划。</li>
</ul>
<p>京东当前官方 Agent 专家 JD 直接列出 Agent Runtime、上下文状态、工具/插件注册、Streaming、Semantic Cache、熔断、Eval/回放与全链路 Trace；百度官方云原生 Agent Infra 岗则出现 K8s、gVisor/Firecracker、Skill/MCP/Plugin、Harness 与 OpenTelemetry。这类岗位本质上仍是分布式系统和平台工程，只是负载变成了概率模型驱动的长链任务。</p>
<h3>4. Coding/GUI/Browser/Computer-use Agent</h3>
<p>常见问题会进一步落到环境和产物：</p>
<ul>
<li>如何选择代码上下文，grep、AST/符号索引、向量检索分别做什么；</li>
<li>仓库规则、Prompt、Skill 与工具描述怎样进入 Context；</li>
<li>代码编辑、测试、Review、回滚和工作区隔离；</li>
<li>长任务如何续跑，多 Agent 如何避免同时修改同一文件；</li>
<li>浏览器/桌面 Agent 如何处理本地文件权限、截图/DOM、多模态与不可逆操作；</li>
<li>AI 生成代码怎样验证，什么由人负责。</li>
</ul>
<h2>三、公司画像：公开样本里更常追什么</h2>
<h3>字节跳动</h3>
<p>2025 年代表样本仍以 RAG 检索/排序、Prompt 评测、ReAct、LoRA/SFT、Attention、幻觉、项目指标和算法为主。<a href="https://www.nowcoder.com/discuss/746382064101908480">2025-04-28 的四轮面经</a> 很典型：Leader 会继续追为什么不用闭源 SOTA、为什么尚未上线、Precision/Recall 怎么算。</p>
<p>到 2026 年，字节是公开样本里最早、最密集直接追 Coding Agent 控制面的公司之一：</p>
<ul>
<li><a href="https://www.nowcoder.com/feed/main/detail/8a553bb6ea8445d0b0abe11e87614cea?sourceSSR=post">2026-08-13/16 的 Agent 实习两轮</a> 问 ReAct/Plan、上下文溢出与保真压缩、路径震荡、Context 与长期 Memory、工具描述过多、Prompt Cache、多 Agent 通信和同时改文件；</li>
<li><a href="https://www.nowcoder.com/feed/main/detail/931a8a935a5e4b4f8d0b71cd4e818604">2026-06-04 一面</a> 问三级压缩、SDD/Spec、Harness 模块和评测集过拟合；</li>
<li><a href="https://www.nowcoder.com/feed/main/detail/ccba40c7281f4d9197b01fe9c140b13d">2026-07-01 中国交易与广告一面</a> 直接比较候选人项目与 Claude Code、Codex、Hermes，继续追 Harness 取舍、Skill 加载、三层记忆、Context 拼装和 Checkpoint；</li>
<li><a href="https://linux.do/t/topic/2416951">2026 年社招多轮记录</a> 还出现 OpenClaw/Hermes 源码、A2A 死循环、Subagent 幻觉、共享状态、Memory/RAG 与实际用户收益。</li>
</ul>
<p>但不要因此忽略基础：同一批面经仍有 Transformer、RL、Python、数据库、浏览器链路和算法。字节官方 Seed 招聘也把 Code Agent RL、Long-Horizon Task、Multi-Agent RL、Memory/Search 与模型/系统训练同时列出。<a href="https://seed.bytedance.com/zh/seedearlycareer">Seed Early Career</a></p>
<p><strong>准备重点：</strong> 项目失败轨迹、上下文与压缩、Skill/Tool、长任务、Eval、多 Agent 冲突；同时按岗位补齐 RL 或后端基础。</p>
<h3>阿里巴巴、淘天、阿里云与阿里国际</h3>
<p>阿里内部业务差异很大，按集团名准备会失焦。</p>
<ul>
<li><strong>阿里云/瓴羊</strong>更偏 Runtime 与企业工程。<a href="https://www.nowcoder.com/feed/main/detail/3a61d09fc2fb436f9bd5c1ed99b43330?sourceSSR=users">2026-08-27 Agent 算法一面</a> 直接问 Agent Loop、Harness 安全/权限、长任务 Early Stop 和 DeepSeek Harness；<a href="https://www.nowcoder.com/discuss/872120976190816256">2026-04-10 阿里云面试</a> 同时考 Workflow/Agent、跨机通信、RPC，并让候选人现场用 AI Coding 完成功能后人工 Review。</li>
<li><strong>淘天/淘宝闪购</strong>更重业务落地、研发提效和真实故障。<a href="https://www.nowcoder.com/discuss/879393838081597440">2026-04-30 淘宝闪购 Agent 算法一面</a> 追框架与部署、HITL、风险分级、熔断、沙箱、审计、跨周 Memory、反馈/RL、Tool Schema 和线上 AUC 下降；2026-08 的多份样本又出现 CR Agent、Meta-Harness、DeepSeek Harness、多 Agent 测试、MQ 幂等、OOM 和算法。</li>
<li><strong>千问/夸克</strong>通常是模型与应用双栈。<a href="https://www.nowcoder.com/feed/main/detail/da6d74a34ceb4e52b9b4fbcac25cfb3b?sourceSSR=post">2026-08-25 千问应用开发</a> 问文档切块、BM25+向量、多跳、Query Rewrite、ACL/PII、长对话摘要与 Harness 数据流；算法岗还会继续进入数据合成、后训练和模型选型。</li>
<li><strong>阿里国际/Accio</strong>公开社招样本更强调云端环境、Search、Worktree、Sandbox、Harness Gate、Eval/Benchmark、Context 隔离/压缩和 Token ROI。</li>
</ul>
<p>2025 的阿里云 AI 平台面经仍以 RAG 整体链路、Transformer、Embedding、MRR 与多路召回为主；2025 下半年的淘天/夸克开始出现工具冲突、超时降级、Memory、Prompt A/B 与 RL，但 2026 才把 Harness、权限和长任务明确推到台前。</p>
<p><strong>准备重点：</strong> 先确认 BU。阿里云准备 Runtime/权限/可观测；淘天准备业务链路、AI Coding、并发与指标；千问/夸克准备模型—应用双栈；阿里国际准备搜索、云沙箱、长任务与成本。</p>
<h3>蚂蚁集团</h3>
<p>蚂蚁的辨识度是“可信执行 + 后端基本功”。2025 蚂蚁国际面经已在问 RAG vs Fine-tuning、Rerank/NDCG、Memory、Agent Eval、MCP/A2A；到 2026，安全与全自动链路被问得更具体：</p>
<ul>
<li><a href="https://ac.nowcoder.com/discuss/1646420?type=0">2026-05-20 智能体/LLM 应用一面</a> 问 Skill、Spring AI、Claude Code/Harness 源码、grep vs RAG、混合召回，再转入网络、MySQL、Spring 和 AI Coding；</li>
<li><a href="https://www.nowcoder.com/feed/main/detail/6490526c86124f92b79a993e171f7222">2026-08-29 蚂蚁财富 Agent 开发</a> 问 Markdown Memory/RAG、Agent Teams、全自动任务可靠性、FC 内部流程、Harness、Skill 懒加载、Temperature=0 的非确定性，同时考 ACID、数据库日志、Redis、MQ、限流和算法；</li>
<li>算法轨还会深入 DPO/PPO/GRPO、FlashAttention、蒸馏、数据和金融信用建模。</li>
</ul>
<p><strong>准备重点：</strong> 权限、审计、隐私、HITL、Prompt Injection、不可逆操作、资金/状态一致性、幂等/补偿/熔断；不能只会说“加个人工确认”。</p>
<h3>腾讯</h3>
<p>腾讯样本显示出“模型适配 + Agent 应用 + 传统大规模后端”的混合特征。</p>
<ul>
<li><a href="https://www.nowcoder.com/feed/main/detail/28edcddf0c204c08b6562a3e6e6b73ae">2026-04-04 AI Agent 应用开发一面</a> 直接问为什么已有 Claude Code 还要自研 Coding Agent、产品差异、分层 Context、Summary 质量、Subagent 通信与防循环，再进入 GRPO/PPO、QLoRA、量化和 Python；</li>
<li><a href="https://www.nowcoder.com/discuss/878945851924627456">2026-04-10 两轮样本索引</a> 包含 Qwen 工具调用适配、空调用、长短期 Memory、代码助手仓库依赖检索、Text2SQL、Rerank 变差的诊断、Query Rewrite 与多 Agent；</li>
<li><a href="https://www.nowcoder.com/feed/main/detail/2a1e82db37244630a6e131d8c823dfc8?sourceSSR=dynamic">2026-05-21 一手样本</a> 把 Prompt Injection/Agent 安全与 Redis/Kafka 容灾、亿级表变更放在同一轮；</li>
<li><a href="https://www.nowcoder.com/discuss/904029765160497152">2026-07-07 跨公司面经</a> 还提醒了一个现实风险：候选人投的是 Agent，腾讯实际团队调整后可能几乎只考云基础设施和算法。</li>
</ul>
<p>2025 的混元算法样本更偏 SFT 动机、数据标注、Qwen 推理模式、RoPE、量化和 baseline。2026 当前招聘则已经细分出 Harness、Eval Infra、Agent RL 框架、Sandbox 和轨迹观测方向。</p>
<p><strong>准备重点：</strong> 先问清团队。应用岗准备 Qwen/工具/记忆/RAG；平台岗准备协议、仓库理解与后端；算法岗准备数据、微调/RL 和模型基础。</p>
<h3>百度</h3>
<p>百度是 2026 年公开样本中把“Prompt → Context → Harness”问得最直白的一家。</p>
<ul>
<li><a href="https://www.nowcoder.com/feed/main/detail/681c33aafac84af0a70b6fd5e663a04c?sourceSSR=post">2026-07-02/03 文心一、二面</a> 一面偏 Agent 后训练：SFT 何时足够、reward/verifier、reward hacking、PPO/GRPO 和 task eval；二面偏系统：Action、长文本、Context/Memory、冲突指令、Harness/Loop、Skill 为什么在系统层，以及 Claude Code/Codex/GLM；</li>
<li><a href="https://www.nowcoder.com/discuss/921590204903723008?sourceSSR=enterprise">2026-08-18 大模型研发一面</a> 直接问 Prompt/Context/Harness Engineering、上下文压缩、Claude Code 和从零 RAG；</li>
<li><a href="https://www.nowcoder.com/discuss/920461634072477696?sourceSSR=post">2026-08-21 二面</a> 几乎改成开放式系统题：C 端 Agent 模块、主流产品比较、Claude Code 数据流、防重复 Tool Call、只有 LLM API 与 VS Code 时如何造 Agent；</li>
<li><a href="https://talent.baidu.com/jobs/detail/GRADUATE/4f1cbc80-8332-4a92-b8fa-c0132b17d47e">官方 2027 AIDU 智能体算法岗</a> 同时列出感知—决策—执行、多 Agent、长期记忆、规划/工具/反思/代码、RAG+Agent，以及成功率、延迟、成本和用户体验 Eval。</li>
</ul>
<p><strong>准备重点：</strong> 一定先区分应用、算法和 Infra。应用要全栈与 RAG，算法要 reward/verifier/trajectory，Infra 要 Harness、Sandbox、K8s 和可观测。</p>
<h3>华为</h3>
<p>华为公开样本的特点不是最追新名词，而是流程正式、基础扎实、项目必须说清楚。</p>
<ul>
<li><a href="https://www.nowcoder.com/feed/main/detail/3bd15a280c334ccfa51c2d181c4b587c?sourceSSR=users">2025 AI 工程师实习</a> 已问 RAG 构建、分块、Query/知识歧义、Agent 模块/选型、边缘设备模型规模和算法；</li>
<li><a href="https://www.nowcoder.com/discuss/884479038142586880?sourceSSR=post">2026-05-14 云软件 AI 技术应用</a> 有双机位、三数之和、项目架构/个人贡献，主管面才问 Agent 宏观架构与从零设计；</li>
<li><a href="https://www.nowcoder.com/feed/main/detail/63f974c8a2214503bdc0ad7505cdc15b">2026 某 BG Agent 岗完整记录</a> 同时验证 ReAct/RAG Agent、TCP/C/存储/拓扑排序、Computer Use、Skill/MCP，并建议研究主流 Agent 框架和 Claude Code 实现；</li>
<li><a href="https://career.huawei.com/cn/young-genius">华为官方挑战课题</a> 已出现“AI Agent 多模态智能通信”，华为云公开方向也包含 Agent 平台、Skill/CLI 和 Agentic Infra。</li>
</ul>
<p><strong>准备重点：</strong> 机试/手撕、C/C++/OS/网络、项目真实性、端云部署和业务价值优先；Harness/MCP/Skill 是加深项，不是基础差的替代品。</p>
<h3>美团</h3>
<p>美团最稳定的追问方式是：为什么这么选、替代方案是什么、如何验证、剩余坏例怎么发现。</p>
<ul>
<li>2025 后端暑期样本已经把三个 Agent 的输入输出、RAG 消融、BM25、双路召回、Tool Calling、MCP 的 SSE/stdio、上下文过长与 MySQL/Redis/线程池放在同一轮；</li>
<li><a href="https://www.nowcoder.com/feed/main/detail/58159306df52463ab75d72daa80d66df?sourceSSR=enterprise">2026-08-25 Agent 开发一面</a> 是很有价值的样本：RAG vs 长上下文直接读文件、RAG vs Coding Agent 用 grep 搜仓库、无标题 Markdown 切分、短 Query/长 Chunk、如何发现剩余 1%–2% 幻觉、单/多 Agent、Plan-and-Execute/ReAct、Agent vs Harness、Context 裁剪、Prompt Cache、Milvus、协程/线程、Vibe/Spec Coding 和两道算法；</li>
<li>2026 校招企业页有多名候选人独立报告“大模型选择题 + 算法 + AI Coding”；</li>
<li><a href="https://tech.meituan.com/2026/07/28/CatPaw-LongCat.html">美团官方 CatPaw</a> 当前产品强调本地/云端长任务、专家/Skill/Subagent、跨会话 Memory、多 Agent 独立环境、凭证隔离、权限、Sandbox 和全链路可观测。这不能当作真题，但能解释岗位为何围绕这些机制继续追问。</li>
</ul>
<p><strong>准备重点：</strong> 每个架构选择必须带 baseline、指标、失败样本和替代方案；RAG 不能只背流程，要能说明什么时候不该用 RAG。</p>
<h3>京东</h3>
<p>京东的公开证据最像“后端/分布式系统 + Agent Runtime”。</p>
<ul>
<li>2025 样本已问用户意图多样化、工具选择准确率下降、RAG 召回低和真实应用体会；</li>
<li><a href="https://linux.do/t/topic/1591661">2026-02-10 实际 Agent 开发一面</a> 从告警 Agent 的输入输出、节假日/发布期准确性和非 AI fallback，问到 4000 页多模态/GB 文档、RAG 更新、LangChain 链路、MCP 工具选择和 Skill；</li>
<li><a href="https://www.nowcoder.com/feed/main/detail/b610d6eb716c44a4a1c36d04c5db12c7">2026-03-13 京东零售后端</a> 把 Redis+Lua、MQ、性能与 RAG 分片/幻觉、Function Calling/Skill 和模型选型混合考；</li>
<li><a href="https://zhaopin.jd.com/web/job-info-detail?requementId=219681">2026-06-24 官方 Agent 专家 JD</a> 明确要求 Model Gateway、Agent Runtime、上下文状态、工具/插件注册、Streaming、Semantic Cache、熔断、Eval/回放和 Trace/Metric/Log；</li>
<li><a href="https://zhaopin.jd.com/web/job-info-detail?requementId=219868">另一条官方大模型智能体岗位</a> 进一步把 Skills、Subagents、MCP/A2A/A2UI、Coding Agent、Sandbox、Memory、Context Engineering 与 Harness Engineering 写进职责和能力要求，说明这些不只是社区热词，而是当前平台岗位的正式能力项。</li>
</ul>
<p><strong>准备重点：</strong> Java/Go、RPC/MQ/网关、并发、缓存和故障恢复不能丢；Agent 题按“状态、权限、fallback、Eval、可观测”回答。</p>
<h3>快手</h3>
<p>快手样本一条是后训练/模型，一条是 Data Agent/应用，不能混在一起。</p>
<ul>
<li><a href="https://www.nowcoder.com/feed/main/detail/c7d3992e36b44234917382c3b7573a00">2025-09-15 大模型二面</a> 深入 PPO/DPO/GRPO、GAE、reward/reward hacking、分层强化学习 Agent、FSDP/DeepSpeed、显存和手写 MHA；</li>
<li><a href="https://www.nowcoder.com/feed/main/detail/4344d0da296944f8b6bcdb0acdbe141e">2025 Data Agent 一面</a> 仍以 LLM vs Agent、ReAct/LangChain、RAG 与模型微调为主；</li>
<li><a href="https://www.nowcoder.com/discuss/904419777614049280">2026 Data Agent 一面</a> 已继续追父子索引、BM25/Rerank、Context vs Memory、Function Calling/Planning、Prompt Injection、工具安全、限流与 RAG Eval；另一份<a href="https://api-cdn.nowcoder.com/feed/main/detail/8ef62dcdde1340f987507d2d1e1433a8">问题密度更高、但需要保守使用的同类记录</a> 又出现三层 Memory、Skill 渐进披露和工具选择。这里更可靠的结论是题面从“会搭框架”向检索、记忆、安全和评估深化，而不是把所有问题外推成快手统一题库。</li>
</ul>
<p><strong>准备重点：</strong> 应用岗把 RAG/Memory/Security 与限流/缓存/数据库一起准备；算法岗另开一条 RL/训练/显存路线。</p>
<h3>拼多多</h3>
<p>拼多多 2026 校招公开出现独立 AI Agent 研发方向，但当前可高置信核验的一手样本不够多，不能像字节、阿里那样概括稳定“厂味”。</p>
<ul>
<li><a href="https://www.nowcoder.com/feed/main/detail/d0c1a59663a2408fb9f8b52b87ccaaec">2026-08 提前批一面短帖</a> 主要问 LLM API 失败如何感知和定位、限流之外的异常、Context/Memory 较弱、多用户×多角色记忆，以及算法；</li>
<li>企业面经页还有代码生成全链路、断点恢复、Codebase Memory、代码审查和长耗时 Agent 资源管理等记录，但部分条目无法稳定取得独立原帖，只作二级线索；</li>
<li>网上同时存在标题写拼多多、正文写快手，或“含完整答案/专栏付费”的内容，均未用于公司画像。</li>
</ul>
<p><strong>准备重点：</strong> 以 JD 和自己投递团队为准，优先准备 LLM/Tool 故障定位、会话与多角色 Memory、分布式基础和算法；Coding Agent/DeepSeek Harness 只在能够说明来源和实现时展开。</p>
<h3>小米</h3>
<p>小米的业务方向决定了端侧/OS/GUI Agent 值得重点准备，但当前可核验的 2026 技术一手面经仍较少，下面是“岗位方向 + 有限样本”的组合判断，不代表稳定题库。</p>
<ul>
<li>2025 大模型应用样本偏 RAG 指标、低延迟、Prefill/Decode、KV Cache、Python/GIL；</li>
<li><a href="https://www.nowcoder.com/discuss/891698510574153728">2026 AI Agent 暑期一面</a> 追“为什么代码生成要微调，不能只用 Prompt/Spec Coding”、缺陷修复 Agent、静态 Spec 与动态环境反馈、模型选型、自托管/API 和 Memory；</li>
<li>普通汽车软件岗已经开始问 AI Coding、Skill、如何维护 <code>CLAUDE.md</code> 和 Loop；</li>
<li><a href="https://hr.xiaomi.com/website/top-talent.html">小米官方顶尖人才课题</a> 明确列出“认知—记忆—问答链路及自动评估”“AI Agent 与操作系统深度集成”和端侧具身智能决策。</li>
</ul>
<p><strong>准备重点：</strong> 微调 vs Prompt/Spec、GUI/OS 权限与状态、端侧模型/推理、Memory、Sandbox/Trace，以及真实代码验证。</p>
<h3>小红书</h3>
<p>公开样本数量不如前几家稳定，但时间演进很有代表性：<a href="https://www.nowcoder.com/feed/main/detail/d84d8e69cb8a4caf9c4aefb60f04d7ac">2025-10 的二面</a> 已经问 Skill 召回 vs Function Call/RAG、混合检索，以及 Cursor/Claude Code 的 System Prompt、上下文压缩和工具选择；<a href="https://www.nowcoder.com/feed/main/detail/e5e9311a623940eead6ec98c65e7f9e8">2026-08-06 Agentic 全栈一面</a> 则继续进入写操作边界、Harness 层、编排/意图分流、Skill vs Tool、多模型一致性、十几万请求扩容、LangGraph vs 自研和 Java/MySQL。产品工程样本还会问多 Agent Context 共享、Skill 管理和业务指标。</p>
<p><strong>准备重点：</strong> 内容/电商场景、检索与推荐数据、Agentic 全栈、状态/Checkpoint、Skill、模型一致性和服务扩缩。证据不足时不要套用“某厂固定风格”。</p>
<h3>国内模型公司：阶跃星辰、智谱、月之暗面、MiniMax</h3>
<p>模型公司公开样本更少，但岗位分化更鲜明。</p>
<ul>
<li><strong>阶跃星辰：</strong> <a href="https://www.nowcoder.com/enterprise/26710/interview">2026 企业面经页</a> 中的 Agent 算法一面会追工具调用训练的 reward、数据配比、ReAct 的 Plan/Observation/Action 输入输出、TRL/verl 类和参数；另一场问 LoRA 初始化、DPO 数据、SFT/DPO、Workflow 与采样。它更像 Agent 后训练岗，而不是应用框架岗。</li>
<li><strong>智谱：</strong> <a href="https://www.nowcoder.com/feed/main/detail/24952c828c59435abd3c302c97fa358d">2026 Agent 算法面经</a> 追 DPO loss、负样本、长链 GUI 正负样本长度、GRPO、Tool Response 是否 loss mask、MCP 训练数据、bad case、参数量/KV Cache 和流式 Tool 输出处理。</li>
<li><strong>月之暗面/Kimi：</strong> 可信公开样本较少。<a href="https://www.nowcoder.com/feed/main/detail/09158c1da13b420bbe00ba1751177efb?sourceSSR=dynamic">2026-07-23 Desktop AI-Native 研发</a> 主要问本地文件权限、产物面板、多模态 Context、长任务通知/回看/续跑、结果编辑—确认—发布和 Agent 任务中心。网上多篇“被吊打+完整答案”的 Kimi 面经模板化明显，不能作为核心证据。</li>
<li><strong>MiniMax：</strong> 2026 已有几份较自然的一手样本。<a href="https://www.nowcoder.com/feed/main/detail/25aec4b727ac4985a7b83fa1e05594e8">AI 应用开发一面</a> 追 PRD/design 如何防需求丢失、需求到代码定位、Task 粒度、多 Agent 状态传递/冲突，以及 Rules vs OpenClaw Memory；同一候选人的<a href="https://www.nowcoder.com/feed/main/detail/5f9c694727504dee91f57b251702c607">平台研发一面</a>和<a href="https://www.nowcoder.com/feed/main/detail/362fd78c774b4e80813f48e1139b8230">二面</a> 又进入 Codex 数据采集耐久性、MQ、Agent 自进化、用户反馈有效性、协议扩展和平台能力产品化。官方 <a href="https://www.minimax.cn/blog/minimax-agent-team-long-running-1779893521">Agent Team 技术文章</a> 可用于校准长程任务、多 Agent 并行和质量门禁，但仍不是面试题证据。</li>
</ul>
<p>如果目标是 DeepSeek、MiniMax、Kimi、智谱、阶跃一类模型公司，至少要另外准备模型/后训练/推理与研究复现；只读 Agent 框架源码并不够。</p>
<h2>四、一场 Agent 面试通常怎样推进</h2>
<p>公开样本不能推出统一轮次，但问题的推进方式相当稳定。</p>
<h3>第一层：确认项目是不是你做的</h3>
<p>面试官先问背景、用户、输入输出、整体数据流、个人代码边界和实际结果。随后故意绕开简历里的框架名：</p>
<ul>
<li>用户一句话进入系统后，第一个写入状态或日志的组件在哪里？</li>
<li>模型为什么选择这个工具，Schema 谁定义，错误码如何返回？</li>
<li>你说准确率提升，基线、样本量、统计窗口和归因是什么？</li>
<li>为什么不用 Workflow、规则、小模型或一次 API 调用？</li>
<li>哪个线上 bad case 最难，最终确认根因的证据是什么？</li>
</ul>
<p>这一层不是考架构词汇，而是检查“输入、状态、动作、观察、指标”能否连成可追踪的链。</p>
<h3>第二层：沿失败路径追问</h3>
<p>项目讲顺后，2026 年面试官经常把系统推到异常状态：</p>
<ul>
<li>工具超时、返回空值或部分成功怎么办？</li>
<li>同一个 Action+参数重复五次，在哪里停止？</li>
<li>压缩后丢掉用户硬约束，如何发现和恢复？</li>
<li>两个 Agent 同时改一个文件或写同一行数据库怎么办？</li>
<li>高风险工具被 Prompt Injection 诱导调用怎么办？</li>
<li>进程在第七步崩溃，能否从 Checkpoint 恢复而不重复副作用？</li>
</ul>
<p>优秀答案不是堆“重试、熔断、降级”四个词，而是说明：哪些错误可重试，哪些操作幂等，状态写在哪里，副作用如何确认，恢复从哪个边界继续，什么时候必须交给人。</p>
<h3>第三层：要求你比较，而不是背定义</h3>
<p>常见比较题包括：</p>
<ul>
<li>Agent vs Workflow；ReAct vs Plan-and-Execute；</li>
<li>LangChain vs LangGraph vs 自研 Loop；</li>
<li>RAG vs 长上下文直接读文件 vs grep/代码索引；</li>
<li>Function Calling vs Tool vs MCP vs Skill；</li>
<li>Context vs Session vs Memory；</li>
<li>Permission vs Sandbox；</li>
<li>单 Agent vs Multi-Agent；</li>
<li>Claude Code vs Codex vs 自研 Coding Agent；</li>
<li>Prompt/Spec 工程 vs SFT/DPO/GRPO。</li>
</ul>
<p>回答结构最好固定为：<strong>目标约束 → 两种机制 → 适用条件 → 失败模式 → 自己项目的选择与证据</strong>。</p>
<h3>第四层：基础与现场题</h3>
<p>Agent 岗的“基础”由岗位决定：</p>
<ul>
<li>应用/后端：Java/Go/Python、协程/线程、MySQL、Redis、MQ、RPC、限流、SSE/WebSocket；</li>
<li>算法：Transformer、Attention、KV Cache、显存、LoRA/SFT/DPO/PPO/GRPO、reward；</li>
<li>Infra：OS、容器/K8s、隔离、网络、调度、存储、可观测和分布式一致性；</li>
<li>Coding/GUI：代码仓库、IDE/CI、工作区、浏览器/桌面权限和流式 UI。</li>
</ul>
<p>手撕仍常见，难度从 Hot100 到 DP、图、并查集不等。2026 还出现了两种新形态：让候选人用 AI Coding 完成功能后 Review，以及正式笔试里的 AI Coding 题。面试官真正看的是需求拆解、上下文提供、验证、回退和代码责任，不是提示词写得多华丽。</p>
<h2>五、结合四个源码仓库，回答 12 类高频硬题</h2>
<h3>1. Agent、Workflow、Orchestrator 和 Harness 有什么区别？</h3>
<p>可以按控制范围从小到大回答：</p>
<ul>
<li><strong>Agent Loop</strong> 是局部迭代：模型基于当前 Context 选择 Action，环境执行并返回 Observation，系统继续或停止。</li>
<li><strong>Workflow</strong> 是开发者预先定义的状态转移、分支和失败处理；模型可以是某个节点，但不是全部控制逻辑。</li>
<li><strong>Orchestrator</strong> 负责计划、路由、调度、依赖与并发，可能编排一个或多个 Agent/Workflow。</li>
<li><strong>Harness</strong> 是模型外完整运行与治理环境，除了 Loop/Orchestrator，还包括 Context、Tool Registry、Policy/Approval/Sandbox、Session/Compaction、Workspace/Subagent、Telemetry/Eval 和恢复。</li>
</ul>
<p>本项目四仓正好给出四种控制权分配：</p>
<ul>
<li>Pi 的生产主链很薄，把大量控制交给 provider 与扩展；核心没有内置 Permission、OS Sandbox、MCP 或 Subagent Scheduler。</li>
<li>Codex 把控制放在 app-server、Session/Task/turn、Tool Registry/Router、安全状态机、ThreadStore 和共享多 Agent 控制面。</li>
<li>DeepSeek Harness 把控制放在 Cordis 插件组合与持久事件面，Loop 薄而 Session/Event 很重。</li>
<li>Claude Code 2.1.88 把产品能力收进共享 async-generator <code>query()</code>，再叠加工具验证、Hook、Permission、可选 Sandbox、压缩与 AgentTool。</li>
</ul>
<p>详见<a href="/blog/coding-agent-loop-tools/">Agent Loop、模型调用与工具执行</a>和<a href="/blog/coding-agent-feature-matrix/">功能总矩阵</a>。这比把 Harness 解释成几份 Markdown 文件更准确。</p>
<h3>2. Context、Working State、Session、Transcript 和 Memory 怎么分？</h3>
<ul>
<li><strong>Context</strong>：下一次模型调用真正能看到的 Token/消息表面。</li>
<li><strong>Working State</strong>：任务当前目标、计划、未完成步骤、工具状态、产物句柄等结构化状态。</li>
<li><strong>Session/Thread</strong>：一次任务或对话的生命周期、身份与可恢复边界。</li>
<li><strong>Transcript/Event Log</strong>：持久记录用户、模型、工具、审批和系统事件。</li>
<li><strong>Long-term Memory</strong>：经过写入门控、作用域、冲突与过期治理后，跨会话按需召回的事实或经验。</li>
</ul>
<p>关键句是：<strong>磁盘上有完整 Transcript，不代表模型当前 Context 完整可重放。</strong> 压缩、过滤、角色映射、工具结果裁剪都可能改变模型表面。四仓分别采用会话树、ThreadStore、事件投影和 JSONL 父链，差异见<a href="/blog/coding-agent-context-session-subagents/">上下文、会话、压缩与子代理</a>。</p>
<h3>3. 上下文快超窗时，怎样设计压缩？</h3>
<p>先定义不可丢失集合，而不是先让模型“总结一下”：</p>
<ol>
<li>固定保留系统/项目规则、权限边界、当前目标、用户硬约束和输出契约；</li>
<li>最近交互、未完成步骤、尚未确认的工具副作用保留原文；</li>
<li>已完成阶段压成结构化字段，例如 <code>decisions/completed/open/artifacts/risks</code>；</li>
<li>原始消息、日志和大文件留在外部事件/对象存储，摘要只保存可回读的 ID/句柄；</li>
<li>按 Token 软/硬水位、阶段完成或目标切换触发，而不是机械地“每五轮总结”；</li>
<li>用回放集比较压缩前后约束保留、下一步工具选择和终态成功率。</li>
</ol>
<p>源码里，Codex 把 Compaction 当作 Loop 内状态转换；DeepSeek Harness 是持久事件不删、模型 Surface 被替换；Claude Code 2.1.88 有 microcompact、collapse/full compact 的分层路径；Pi 在会话分支上记录摘要。不要把任何一个旧版本的具体阈值说成行业通则。</p>
<h3>4. Tool 调用链怎样做到生产级？</h3>
<p>一个完整回答至少包括：</p>
<p><code>发现/目录 → Schema → 模型选择 → 参数验证 → Policy/Approval → Sandbox → 执行 → 结果规范化 → Observation → Trace/Eval</code></p>
<p>进一步说明：</p>
<ul>
<li>工具名和描述解决“模型能否选对”；Schema 与验证器解决“参数是否合法”；</li>
<li>Approval 决定是否授权，Sandbox 限制授权后实际触达范围；</li>
<li>只对幂等或有明确补偿的操作自动重试，指数退避不能替代副作用设计；</li>
<li>错误应作为结构化 Observation 返回，区分可重试、需 Replan、权限拒绝和终止；</li>
<li>无依赖只读工具可并行，有文件/数据库写依赖必须由执行器而不是模型文本保证顺序；</li>
<li>Trace 要关联 <code>session/turn/tool_call/attempt/policy/result</code>，便于回放与 bad case 归因。</li>
</ul>
<p>Codex 的 Registry/Router 与读写并发门、Claude Code 的 validation→hooks→permission→call→post-hook 流水线，以及 DSH 的 ToolRuntime 都可作为具体例子。见<a href="/blog/coding-agent-loop-tools/">Loop 与工具执行</a>。</p>
<h3>5. Function Calling、Tool、MCP 与 Skill 有什么区别？</h3>
<ul>
<li><strong>Function Calling</strong> 是模型输出结构化调用意图的一种接口形式；它不负责真正执行、权限或传输。</li>
<li><strong>Tool</strong> 是可执行能力及其输入输出契约，可以是本地函数、Shell、HTTP 服务或 MCP 端点。</li>
<li><strong>MCP</strong> 是工具/资源/提示的发现与通信协议，解决客户端与外部 Server 的互操作，不等于业务流程。</li>
<li><strong>Skill</strong> 通常是面向任务的可复用 playbook/能力包，包含说明、脚本、资源、示例、验收和失败处理；它不是统一网络协议。</li>
</ul>
<p>工具很多时可采用渐进披露：Context 里常驻名称、短描述和触发条件，命中后再加载完整 Skill 和资源。但 Harness 仍要执行依赖校验、权限、版本、输出裁剪和观测，Skill 不能把未经审计的动作藏在 Prompt 里绕过安全。</p>
<h3>6. Permission 和 Sandbox 为什么必须分开？</h3>
<p>一句话：<strong>Permission 决定“是否允许”，Sandbox 决定“允许后最多能碰到什么”。</strong></p>
<p>面试里可画两层状态机：先根据身份、工具、参数、资源和风险等级作 deny/ask/allow；允许后再用文件系统、网络、进程、凭证、容器/虚机边界限制实际能力。高风险操作还要有二次确认、审计和可逆/补偿设计。</p>
<p>四仓差异很适合举例：Codex 有显式 Approval/Sandbox 编排；DSH 用 Permission Preset、Approval Provider 与 Sandbox 组合；Claude Code 2.1.88 有 Permission Context 和可选 Sandbox Adapter；Pi 默认把边界交给宿主。详见<a href="/blog/coding-agent-security-extensions/">权限、沙箱、信任与扩展</a>。</p>
<h3>7. 什么时候该用 Multi-Agent？</h3>
<p>不要用“复杂任务就多 Agent”作答。只有以下收益大于协调成本时才拆：</p>
<ul>
<li>子任务可并行且依赖清晰；</li>
<li>不同子任务需要隔离 Context、权限、工具或工作区；</li>
<li>专业角色能带来可测的质量增益；</li>
<li>单 Agent 的上下文污染或搜索空间已成为瓶颈。</li>
</ul>
<p>设计时要回答：root/controller 是谁，共享状态 Schema，任务 Ownership，预算与取消传播，结果/错误协议，重试与幂等，工作区/Worktree，Merge/Review Gate，孤儿任务清理和 Trace。</p>
<p>还要指出“支持 Subagent”不是一个统一能力：Pi 的示例扩展、DSH 的 provider seam、Claude 的 AgentTool sidechain、Codex 的 root-tree scheduler 不能互换。见<a href="/blog/coding-agent-context-session-subagents/#5-subagent-%E6%9E%B6%E6%9E%84">Subagent 架构对比</a>。</p>
<h3>8. Agent 死循环、路径震荡、偏航怎样处理？</h3>
<p>按“检测—限制—恢复”回答：</p>
<ul>
<li>检测：最近 N 步 Action+参数重复、状态哈希不变、计划在两个节点间往返、错误类型连续相同、里程碑长期不推进；</li>
<li>限制：Step/Time/Token/Cost Budget、工具级熔断、递归深度、并发与子 Agent 数；</li>
<li>恢复：保留目标和失败证据后 Replan，切换工具/模型，回到最近 Checkpoint；</li>
<li>副作用：工具幂等键、事务/补偿、已提交动作清单，避免恢复时重复付款、发信或写库；</li>
<li>人工：高风险、重复失败或证据不足时转 HITL，而不是无限 Reflection。</li>
</ul>
<h3>9. Agent Eval 应该怎样分层？</h3>
<p>至少四层：</p>
<table>
<thead>
<tr>
<th>层</th>
<th>例子</th>
</tr>
</thead>
<tbody><tr>
<td>Outcome</td>
<td>任务成功率、正确性、约束满足、人工验收</td>
</tr>
<tr>
<td>Process</td>
<td>规划/工具选择、参数正确率、无效轮次、恢复成功率、轨迹长度</td>
</tr>
<tr>
<td>Safety</td>
<td>越权、Prompt Injection、秘密泄露、不可逆副作用、误拒绝</td>
</tr>
<tr>
<td>Efficiency</td>
<td>P50/P95 延迟、Token、工具次数、并发资源、单任务成本</td>
</tr>
</tbody></table>
<p>评测时固定模型、Prompt、工具 Schema/版本、权限和环境快照；保存可回放的 Session/Event Log；按失败阶段分桶；LLM-as-Judge 必须用人工或可验证终态校准。离线回归只能支持发布门禁，不能替代线上 A/B、用户反馈和安全监控。</p>
<h3>10. RAG、长上下文与 grep/代码索引怎样选？</h3>
<ul>
<li>大规模、持续更新、需要权限过滤和证据引用的异构知识，优先 RAG；</li>
<li>小而完整、结构强耦合的材料，可以直接放长上下文；</li>
<li>代码里的精确标识符、路径、错误字符串和当前工作区状态，grep/符号/AST 索引通常比纯向量更可靠；</li>
<li>模糊语义、跨文件概念和历史设计可用向量/图检索补充；</li>
<li>生产 Coding Agent 常把精确搜索、结构索引、语义检索和按需读文件组合，而不是三选一。</li>
</ul>
<p>无论哪种方案，都要用任务数据验证：检索层看 Recall@K/MRR/NDCG，生成层看 Faithfulness/引用，端到端看任务成功率、延迟和成本。Rerank 变差时先检查候选召回、训练域、Query 长度、Chunk 粒度和截断，不要只调 TopK。</p>
<h3>11. SFT、DPO、PPO/GRPO 在 Agent 中分别解决什么？</h3>
<p>先确认问题是否真的需要训练。私有 Schema、固定格式和初始轨迹模仿可用 SFT；成对偏好可用 DPO 类目标；多步决策、可执行终态或过程 Reward 明确时再考虑 PPO/GRPO/RLVR。没有可靠 verifier/reward 和对照实验，RL 只会把错误放大。</p>
<p>Agent 轨迹数据要区分 System/User、Assistant 决策、Tool Call、环境 Tool Response 和最终答案。环境返回通常不是模型要预测的目标，需要明确 loss mask；训练还要处理长短样本偏差、无效调用、工具版本漂移、训练—服务 Schema 不一致和 Reward Hacking。</p>
<h3>12. AI 生成的代码怎样验证？</h3>
<p>可以给出五层门禁：</p>
<ol>
<li>需求与约束：先写 acceptance criteria、禁止改动范围和接口契约；</li>
<li>静态检查：类型、Lint、依赖、秘密与安全扫描；</li>
<li>动态验证：单测、集成、回归、边界/故障注入；</li>
<li>差异审阅：逐文件解释为什么改、是否有无关重构、迁移/回滚方案；</li>
<li>责任边界：AI 可生成，候选人必须理解、Review、验证并对提交负责。</li>
</ol>
<p>现场 AI Coding 时应先让 Agent 理解仓库和测试，再做最小可运行版本；每轮只修改可归因的一小组问题，保留提交/检查点，避免把越来越长的失败上下文继续喂回去。</p>
<h2>六、项目深挖：一套不容易被问穿的讲法</h2>
<h3>2 分钟版本</h3>
<p>用七句话讲清：</p>
<ol>
<li><strong>用户与任务：</strong> 谁在什么场景下要完成什么；</li>
<li><strong>原始基线：</strong> 人工、规则、搜索或固定 Workflow 的痛点；</li>
<li><strong>为什么 Agent：</strong> 哪个决策必须根据 Observation 动态变化；</li>
<li><strong>核心链路：</strong> Context → Loop/Planner → Tool → State → Validation；</li>
<li><strong>个人边界：</strong> 自己直接拥有的模块、代码和决策；</li>
<li><strong>证据：</strong> 数据集、baseline、指标、样本数和观测窗口；</li>
<li><strong>失败与取舍：</strong> 一个真实 bad case、根因、修复和仍未解决的限制。</li>
</ol>
<h3>10 分钟架构版本</h3>
<p>建议按下面的执行顺序画图，而不是按技术栈罗列名词：</p>
<p><code>入口/身份 → Policy → Context Builder → Loop/Orchestrator → Tool Router → Validation/Approval/Sandbox → Executor → Observation → State/Event Log → Eval/Trace → 用户确认/交付</code></p>
<p>每一层都准备四个问题：输入输出是什么、状态在哪里、失败怎么处理、指标怎么验证。</p>
<h3>指标怎样说才可信</h3>
<p>不要临场编“从 60% 提升到 85%”。一个可信表述至少包含：</p>
<ul>
<li>基线版本和比较变量；</li>
<li>数据来源、样本量、时间范围和难度分布；</li>
<li>主指标和护栏指标；</li>
<li>是否重复运行、是否有置信区间或人工复核；</li>
<li>改进究竟来自 Agent 机制，还是数据清洗、规则、模型升级或人工补丁；</li>
<li>当前证据的限制。</li>
</ul>
<p>没有线上 A/B 就明确说离线回放；没有用户就说尚未验证真实使用价值。诚实的证据边界通常比漂亮但无法复现的数字更有说服力。</p>
<h2>七、P0 必答题单</h2>
<p>下面 36 题建议都能在白板上讲 3–5 分钟，并承受两轮追问。</p>
<h3>架构与控制面</h3>
<ol>
<li>Agent 与 Chatbot、一次 Function Call 的本质区别是什么？</li>
<li>Agent、Workflow、Orchestrator、Harness 怎么分？</li>
<li>ReAct 与 Plan-and-Execute 各自的失败模式是什么？</li>
<li>Planning 应由模型还是框架负责？</li>
<li>为什么自研，不直接用 LangGraph、Claude Code 或公司平台？</li>
<li>画出一次用户请求从输入到交付的完整数据流。</li>
</ol>
<h3>Context、Session 与 Memory</h3>
<ol start="7">
<li>Context、Session History、Working State、Long-term Memory 怎么分？</li>
<li>Context 超窗时如何触发、压缩、验证和恢复？</li>
<li>哪些信息绝不能交给摘要模型决定是否保留？</li>
<li>Memory 何时写入，如何做 Scope、Authority、TTL、去重与冲突？</li>
<li>Transcript 完整保存，为什么仍不能保证精确重放？</li>
<li>Prompt Cache 怎样受 Context 顺序和动态内容影响？</li>
</ol>
<h3>Tool、Skill 与协议</h3>
<ol start="13">
<li>模型如何从几百个工具中选到正确工具？</li>
<li>Tool Schema、参数幻觉和错误码怎样设计？</li>
<li>Function Calling、Tool、MCP、Skill 与 A2A 的边界是什么？</li>
<li>Skill 渐进披露如何节省 Context，又有什么安全风险？</li>
<li>工具超时、空返回、部分成功、重复副作用分别怎样处理？</li>
<li>哪些 Tool Call 可以并行，谁来保证依赖顺序？</li>
</ol>
<h3>安全与可靠性</h3>
<ol start="19">
<li>Permission 与 Sandbox 为什么不能互相替代？</li>
<li>如何防 Prompt Injection 诱导越权或秘密泄露？</li>
<li>付款、发信、删库、执行 Shell 分别怎样分级与确认？</li>
<li>Agent 死循环、路径震荡和任务偏航如何检测？</li>
<li>进程崩溃后如何恢复而不重复副作用？</li>
<li>高并发下如何做幂等、限流、熔断、降级和补偿？</li>
</ol>
<h3>Multi-Agent 与 Coding Agent</h3>
<ol start="25">
<li>什么场景单 Agent 更好，什么场景值得多 Agent？</li>
<li>多 Agent 如何共享状态、传播取消和控制 Token 预算？</li>
<li>两个 Agent 同时改文件/数据库怎样避免冲突？</li>
<li>Claude Code、Codex 与你的 Coding Agent 控制面有何差异？</li>
<li>代码上下文为什么不能只靠向量库？</li>
<li>AI 生成代码怎样 Review、测试、回滚和追责？</li>
</ol>
<h3>RAG、Eval 与训练</h3>
<ol start="31">
<li>RAG、长上下文、grep/符号索引如何选？</li>
<li>Chunk、Hybrid Retrieval、Rerank 和 Query Rewrite 怎样调？</li>
<li>Agent Eval 为什么不能只看最终准确率或 LLM Judge？</li>
<li>怎样构建可回放的 bad case 集与发布回归门禁？</li>
<li>SFT、DPO、PPO/GRPO 各自适合 Agent 的什么问题？</li>
<li>Tool Response 是否参与 loss，reward hacking 如何发现？</li>
</ol>
<h2>八、按岗位追加的 P1 题</h2>
<h3>应用/全栈</h3>
<ul>
<li>SSE 与 WebSocket 如何选，断线续传和取消怎样做？</li>
<li>RAG 索引怎样不停服更新，权限过滤放在哪一层？</li>
<li>Redis Semantic Cache 的 key、失效与污染怎样治理？</li>
<li>消息队列如何保证长任务至少一次消费下的业务幂等？</li>
<li>Agent 输出怎样转成可验证的结构化业务对象？</li>
</ul>
<h3>Harness/Infra</h3>
<ul>
<li>Session/Task/Turn/Step 如何建模？</li>
<li>Tool Registry 与动态插件如何版本化和热更新？</li>
<li>模型网关如何路由、限流、缓存与统计 Token？</li>
<li>容器、gVisor、Firecracker 和宿主进程隔离怎样取舍？</li>
<li>Trace 如何跨模型调用、工具、子 Agent 与审批串起来？</li>
<li>长任务调度怎样处理租户公平性、取消和孤儿任务？</li>
</ul>
<h3>算法/后训练</h3>
<ul>
<li>Agent trajectory 数据如何生成、筛选和去重？</li>
<li>SFT 何时足够，切 RL 的判据是什么？</li>
<li>DPO 正负样本长度差异会带来什么偏差？</li>
<li>GRPO 的 reward、group 与 credit assignment 如何设计？</li>
<li>Tool 使用的过程 reward 与终态 reward 如何组合？</li>
<li>Train-serving 的 Prompt/Schema/工具版本偏移如何诊断？</li>
</ul>
<h3>GUI/Browser/端侧</h3>
<ul>
<li>DOM、截图、OCR、Accessibility Tree 如何组合？</li>
<li>本地文件和目录授权如何可见、可撤销、可审计？</li>
<li>GUI 动作怎样检测页面已变化、动作是否真正生效？</li>
<li>端侧模型在延迟、内存、功耗和隐私之间如何选型？</li>
<li>长任务在本地关机、断网或 App 重启后怎样续跑？</li>
</ul>
<h2>九、14 天突击计划</h2>
<h3>第 1–3 天：把项目讲成状态机</h3>
<ul>
<li>画完整数据流和失败流；</li>
<li>写出个人代码边界、baseline、指标口径和三个 bad case；</li>
<li>为每个框架选型准备一个替代方案和拒绝理由；</li>
<li>把 2 分钟与 10 分钟版本各录两遍。</li>
</ul>
<h3>第 4–6 天：RAG、Context、Memory</h3>
<ul>
<li>用同一批文档比较 BM25、向量、混合+Rerank；</li>
<li>实现 Query Rewrite 和权限元数据过滤；</li>
<li>做一次压缩前后回放，记录约束丢失、Token、延迟和任务成功；</li>
<li>能明确说出 Context、Session、Transcript 和 Memory。</li>
</ul>
<h3>第 7–9 天：Loop、Tool、安全与恢复</h3>
<ul>
<li>自己写一个最小 Loop，不依赖黑盒 Agent API；</li>
<li>加 Schema 验证、结构化错误、Step/Time/Token Budget；</li>
<li>为写操作加幂等键、Approval 和最小 Sandbox；</li>
<li>注入一次工具超时、进程崩溃和 Prompt Injection，验证恢复/拒绝。</li>
</ul>
<h3>第 10–11 天：Eval 与可观测</h3>
<ul>
<li>建 30–50 条小型回放集，按 outcome/process/safety/efficiency 评分；</li>
<li>保存模型、Prompt、Tool、权限和环境版本；</li>
<li>把 bad case 分成检索、Context、规划、工具、权限、状态和验证七类；</li>
<li>不用单一 LLM Judge 代替全部评测。</li>
</ul>
<h3>第 12–14 天：公司与岗位定向</h3>
<ul>
<li>按 JD 判断自己在应用、算法、Harness、Coding/GUI 哪条线；</li>
<li>从上面的公司画像选 10 道定向题；</li>
<li>每天手撕 2–3 道算法，并复习岗位对应的数据库/OS/网络或 RL；</li>
<li>做两次 60 分钟模拟：20 分钟项目、20 分钟场景、15 分钟基础/代码、5 分钟反问。</li>
</ul>
<p>如果有四周时间，把第 7–11 天的最小 Harness 做成可运行项目，并保留 Eval 报告、Trace 截图、故障注入和设计文档。这个证据比再堆一个 LangChain Demo 更有区分度。</p>
<h2>十、反问面试官</h2>
<p>反问的目标是确认岗位的真实控制面与失败成本：</p>
<ol>
<li>这个团队更接近 Agent 应用、模型后训练，还是 Runtime/Harness？三者工作比例如何？</li>
<li>当前最大的失败来源是模型、Context、工具、状态、评测还是业务接入？</li>
<li>Agent 的输出是建议，还是会直接触发不可逆动作？HITL 和责任边界是什么？</li>
<li>团队用哪些 outcome/process/safety/cost 指标做发布门禁？</li>
<li>是否保存可回放轨迹，线上 bad case 如何进入回归集？</li>
<li>自研能力与 Claude Code/Codex/开源框架的边界在哪里？</li>
<li>实习生/新人的第一个可独立交付模块通常是什么，如何判断完成？</li>
</ol>
<h2>十一、最后的准备优先级</h2>
<p>如果时间只够抓五件事，顺序建议是：</p>
<ol>
<li>把自己的项目、指标和坏例说到可复现；</li>
<li>保住算法与岗位对应的工程/模型基础；</li>
<li>真正理解 Context、Tool、State、Permission/Sandbox 和 Eval；</li>
<li>读一个 Coding Agent 的完整调用链，而不是只看产品介绍；</li>
<li>针对目标团队补 RAG、RL 或 Infra，不按“Agent 八股大全”平均用力。</li>
</ol>
<p>2026 年面试官真正区分候选人的问题，往往不是“你知道多少新名词”，而是：<strong>模型做了一个概率决策之后，你怎样让真实系统仍然可控、可恢复、可验证、可追责。</strong></p>
<h2>主要来源索引</h2>
<p>下面只列本文反复使用的核心来源；各公司章节中的链接提供更细的一手样本。</p>
<h3>一手面经</h3>
<ul>
<li>字节：<a href="https://www.nowcoder.com/feed/main/detail/8a553bb6ea8445d0b0abe11e87614cea?sourceSSR=post">2026-08 Agent 两轮</a>、<a href="https://www.nowcoder.com/feed/main/detail/931a8a935a5e4b4f8d0b71cd4e818604">2026-06 Harness/Context/Eval</a>、<a href="https://www.nowcoder.com/discuss/746382064101908480">2025 四轮大模型</a></li>
<li>阿里/淘天：<a href="https://www.nowcoder.com/discuss/879393838081597440">2026 淘宝闪购 Agent 算法</a>、<a href="https://www.nowcoder.com/discuss/872120976190816256">2026 阿里云 AI Coding</a>、<a href="https://www.nowcoder.com/feed/main/detail/3a61d09fc2fb436f9bd5c1ed99b43330?sourceSSR=users">2026 瓴羊 Harness</a></li>
<li>蚂蚁：<a href="https://ac.nowcoder.com/discuss/1646420?type=0">2026 智能体与 LLM 应用</a>、<a href="https://www.nowcoder.com/feed/main/detail/6490526c86124f92b79a993e171f7222">2026 蚂蚁财富 Agent</a>、<a href="https://www.nowcoder.com/discuss/800426409796624384">2025 蚂蚁国际</a></li>
<li>腾讯：<a href="https://www.nowcoder.com/feed/main/detail/28edcddf0c204c08b6562a3e6e6b73ae">2026 Coding Agent/Context/Subagent</a>、<a href="https://www.nowcoder.com/discuss/878945851924627456">2026 腾讯多样本索引</a></li>
<li>百度：<a href="https://www.nowcoder.com/feed/main/detail/681c33aafac84af0a70b6fd5e663a04c?sourceSSR=post">2026 文心 Agent RL/Harness</a>、<a href="https://www.nowcoder.com/discuss/921590204903723008?sourceSSR=enterprise">2026 Prompt→Context→Harness</a></li>
<li>华为：<a href="https://www.nowcoder.com/feed/main/detail/63f974c8a2214503bdc0ad7505cdc15b">2026 某 BG Agent 完整流程</a>、<a href="https://www.nowcoder.com/feed/main/detail/3bd15a280c334ccfa51c2d181c4b587c?sourceSSR=users">2025 AI 工程师</a></li>
<li>美团：<a href="https://www.nowcoder.com/feed/main/detail/58159306df52463ab75d72daa80d66df?sourceSSR=enterprise">2026-08 Agent 开发一面</a>、<a href="https://www.nowcoder.com/discuss/comment/21611834">2025 后端/Agent</a></li>
<li>京东：<a href="https://linux.do/t/topic/1591661">2026 实际 Agent 开发一面</a>、<a href="https://www.nowcoder.com/feed/main/detail/f5be83cbaeb3420aa3c255b4f825a4e0">2025 一面</a></li>
<li>快手：<a href="https://www.nowcoder.com/discuss/904419777614049280">2026 Data Agent/RAG/Tool Security</a>、<a href="https://www.nowcoder.com/feed/main/detail/4344d0da296944f8b6bcdb0acdbe141e">2025 Data Agent</a>、<a href="https://www.nowcoder.com/feed/main/detail/c7d3992e36b44234917382c3b7573a00">2025 Agent RL</a></li>
<li>拼多多：<a href="https://www.nowcoder.com/feed/main/detail/d0c1a59663a2408fb9f8b52b87ccaaec">2026 提前批 Agent 一面短帖</a></li>
<li>小米：<a href="https://www.nowcoder.com/discuss/891698510574153728">2026 AI Agent 一面</a>、<a href="https://www.nowcoder.com/feed/main/detail/8cdd5da8b4ea4b139e0e54d1e102867b?sourceSSR=users">2025 大模型应用</a></li>
<li>小红书：<a href="https://www.nowcoder.com/feed/main/detail/e5e9311a623940eead6ec98c65e7f9e8">2026 Agentic 全栈</a>、<a href="https://www.nowcoder.com/feed/main/detail/d84d8e69cb8a4caf9c4aefb60f04d7ac">2025 Skill/Context</a></li>
<li>阶跃星辰：<a href="https://www.nowcoder.com/enterprise/26710/interview">2026 企业面经页</a>；智谱：<a href="https://www.nowcoder.com/feed/main/detail/24952c828c59435abd3c302c97fa358d">2026 Agent 算法</a>；MiniMax：<a href="https://www.nowcoder.com/feed/main/detail/25aec4b727ac4985a7b83fa1e05594e8">2026 AI 应用开发</a>、<a href="https://www.nowcoder.com/feed/main/detail/5f9c694727504dee91f57b251702c607">2026 平台研发</a></li>
</ul>
<h3>官方岗位与技术方向</h3>
<ul>
<li><a href="https://talent.baidu.com/jobs/detail/GRADUATE/4f1cbc80-8332-4a92-b8fa-c0132b17d47e">百度 2027 AIDU 智能体算法工程师</a></li>
<li><a href="https://zhaopin.jd.com/web/job-info-detail?requementId=219681">京东大模型应用算法/开发专家（Agent）</a></li>
<li><a href="https://zhaopin.jd.com/web/job-info-detail?requementId=219868">京东大模型智能体岗位（Skills/Subagents/Harness）</a></li>
<li><a href="https://joinbytedance.com/search/7626144409813387573">字节 AI Agent Memory Infrastructure</a></li>
<li><a href="https://seed.bytedance.com/zh/seedearlycareer">字节 Seed Early Career</a></li>
<li><a href="https://campus-talent.alibaba.com/campus/gov">阿里 2027 校园招聘</a></li>
<li><a href="https://tech.meituan.com/2026/07/28/CatPaw-LongCat.html">美团 CatPaw Agent 平台技术文章</a></li>
<li><a href="https://hr.xiaomi.com/website/top-talent.html">小米全球顶尖人才前沿课题</a></li>
<li><a href="https://career.huawei.com/cn/young-genius">华为挑战课题专项招聘</a></li>
</ul>
<h3>本项目源码分析</h3>
<ul>
<li><a href="/blog/pi-agent-source-analysis/">Pi Agent 源码详解</a></li>
<li><a href="/blog/openai-codex-source-analysis/">OpenAI Codex 源码详解</a></li>
<li><a href="/blog/deepseek-harness-source-analysis/">DeepSeek Harness 源码详解</a></li>
<li><a href="/blog/claude-code-source-analysis/">Claude Code 源码详解</a></li>
<li><a href="/blog/coding-agent-loop-tools/">Agent Loop 与工具执行</a></li>
<li><a href="/blog/coding-agent-security-extensions/">权限、沙箱、信任与扩展</a></li>
<li><a href="/blog/coding-agent-context-session-subagents/">上下文、会话、压缩与子代理</a></li>
<li><a href="/blog/coding-agent-interfaces-observability/">接口与可观测性</a></li>
</ul>
]]></content:encoded>
  <category>coding-agent</category>
  <category>interview</category>
  <category>agent-harness</category>
  <category>career</category>
</item>
<item>
  <title>SayCan 精读：让机器人既“会说”，又“做得到”</title>
  <link>https://keepkeen.github.io/blog/agent-paper-01-saycan/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-01-saycan/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>用机器人技能的可供性价值约束 LLM 的高层计划，使语言上合理的动作也必须在当前环境可执行。</description>
  <content:encoded><![CDATA[<blockquote>
<p><strong>公开入口：</strong> <a href="https://arxiv.org/abs/2204.01691">arXiv</a> · <a href="https://arxiv.org/pdf/2204.01691v2">PDF</a> · <a href="https://export.arxiv.org/e-print/2204.01691">TeX 源码包</a> · <a href="https://github.com/google-research/google-research/tree/master/saycan">代码</a> · <a href="https://say-can.github.io/">项目页</a></p>
<p>文中的 <code>source/...:Lx–Ly</code> 对应解压后的 arXiv TeX 源码坐标；博客不镜像原论文文件。</p>
</blockquote>
<blockquote>
<p>论文：<em>Do As I Can, Not As I Say: Grounding Language in Robotic Affordances</em> (CoRL 2022)</p>
<p>阅读标记：<strong>论文事实</strong>表示作者明确写出或测量的内容；<strong>脉络解释</strong>表示根据论文相关工作做的归纳；<strong>我们的解释/判断</strong>是为帮助理解而补写的机制、例子和评价，不代表论文已证明。</p>
</blockquote>
<h2>一句话结论</h2>
<p><strong>SayCan 把语言模型对“下一步有没有用”的评分，与机器人对“当前状态下做不做得成”的评分相乘，每次只执行得分最高的技能，然后在新状态下重新规划。</strong>（论文事实；PDF p.5；<code>source/main.tex:L274–290</code>）</p>
<h2>先建立心智模型</h2>
<p>把 LLM 想成一位看过很多生活攻略、却看不到现场的“远程指挥员”；把可供性函数想成一位只会报告现场条件的“执行员”。指挥员知道洒了饮料要找清洁工具，执行员知道眼前有没有海绵、能不能抓起来。SayCan 就是让两人对每个候选步骤各打一个分，再选兼顾目标与现实的那一个。</p>
<p>这个类比的边界是：两个“人”都是可出错的模型，而且乘积得分并不自动等于经过严格校准的真实成功率。</p>
<h3>必要概念</h3>
<ul>
<li><strong>技能（skill）与策略（policy）</strong>：技能是“拿起苹果”这样的短任务；策略是把视觉观测转成手臂、夹爪和底盘动作的低层控制器。实现中动作可来自行为克隆（BC）或强化学习（RL）（论文事实；<code>source/main.tex:L306–315</code>）。</li>
<li><strong>可供性（affordance）</strong>：状态提供给一项动作的可能性。文中用技能的值函数估计“从状态 (s) 出发，执行技能 π 会成功吗”（论文事实；<code>source/main.tex:L198–208</code>）。</li>
<li><strong>任务接地（task-grounding）</strong>：LLM 给技能文字标签的下一步适切性。<strong>世界接地（world-grounding）</strong>：可供性给该技能的当前可执行性。两者分别回答“该不该”和“能不能”。</li>
<li><strong>零样本高层组合</strong>：测试指令不用再训练一个新策略；它仍依赖事先学好的低层技能和少量提示示例，所以“零样本”不等于机器人从未学过任何动作。</li>
</ul>
<h2>失败、机制与方案</h2>
<h3>观察到的失败</h3>
<p><strong>论文事实。</strong> 用户说“我把饮料洒了，能帮忙吗？”，纯 LLM 可能回答“用吸尘器”或“叫清洁工”。语句在文本世界合理，但机器人现场没有对应物体或技能。只用提示工程可以让 LLM 拆步，却不会自动知道机器人的能力和当前环境（PDF p.2；<code>source/main.tex:L150–154</code>）。</p>
<p><strong>我们的机制解释。</strong> 失败点不在语言不流畅，而在决策分布缺了两个条件：当前状态 (s) 和具体机器人的技能集 Π。纯生成会在开放文本空间里找“像答案的话”，机器人需要在封闭候选技能里找“现在能完成目标的下一步”。</p>
<h3>别人怎样处理这类问题</h3>
<p><strong>脉络解释。</strong> 论文将先前方法分成三条线：多模态模型把视觉/环境输入接入语言模型，或让模型直接输出动作；语言条件模仿学习与 RL 学低层行为；经典任务-运动规划用显式原语和约束保证可行性。同期的 LLM 规划工作可以从提示中生成长计划，但没有额外的物理接地机制（论文对相关工作的归纳；<code>source/related.tex:L1–21</code>）。SayCan 选择一个小介入：保留 LLM 的常识排序，用已学得值函数在选择时加上具身约束。</p>
<p>下图把问题、当前轮决策和反馈放在同一张图中。</p>
<p><img src="./assets/llm-agent-paper-reading/agent-paper-01-saycan-diagram-1.svg" alt="SayCan 的问题、机制与反馈回路"></p>
<p><strong>图 1｜SayCan 的问题—机制—反馈。</strong> 左侧显示纯 LLM 缺少现场约束、纯低层策略缺少高层语义；中间对固定候选技能同时计算语言适切性和当前可执行性，并选取乘积最大者；右侧表示低层策略改变环境后，系统在新状态下重新决策。虚线是跨决策步的控制回路：本论文没有用机器人的结果在线更新 LLM 参数。图为我们根据算法重画，不是论文原图。</p>
<h3>本文方案的数据流</h3>
<ol>
<li>输入高层指令 (i)、当前状态 (s_n)、技能集 Π 及每个技能的文字标签 ℓπ。</li>
<li>对每个候选技能，LLM 在指令和已选历史上评分；可供性函数在当前观测上评分。</li>
<li>两分相乘，取 argmax，执行对应低层策略。</li>
<li>把已选技能追加到文本历史，从新状态继续，直到“done”获选（论文事实；<code>source/main.tex:L274–290</code>）。</li>
</ol>
<p>请用“饮料洒了”手推前三轮：第一轮“找海绵”同时具有语义适切性和导航可行性；到达后，物体进入视野，“拿海绵”的可供性上升；夹住后，“送给用户”变得可行。语义目标没变，下一步却因状态改变而改变。这正是逐步重评分的作用。如果删掉状态相关的可供性，三个步骤只能依赖文本顺序，无法判断海绵是否真的在场、是否已经被夹住。</p>
<h2>关键公式：从概率直觉到可执行选择</h2>
<h3>0. LLM 怎样给一个固定候选项打分</h3>
<p>语言模型把一段文本 (W=(w_0,\ldots,w_m)) 的概率按链式法则展开：</p>
<p>在常见聊天用法中，系统会从这个分布采样或选最可能的自由文本。SayCan 已经知道机器人只能执行哪些技能，因此不让 LLM 任意发明动作，而是把每个技能标签接到同一个提示后面，读出该固定补全的概率。这一操作把开放文本生成变成有限集排名（论文事实；<code>source/main.tex:L177–183, L223–228</code>）。</p>
<p><strong>边界。</strong> 候选项是多 token 字符串，所以评分会受标签措辞、长度和提示格式影响。附录报告，步骤编号、分行、物体在示例中的出现频次，甚至冠词与拼写都会改变结果。50 条语言模拟指令上，不给示例且必须正确终止时规划率为 10%；使用论文的 17 个示例时为 88%（论文事实；<code>source/main.tex:L891–930</code>）。这项实验证明提示是系统组件，也提醒我们：方法并非对候选标签的任意表述都稳定。</p>
<h3>1. 乘积评分</h3>
<p>论文的核心选择是</p>
<p><strong>大白话目的。</strong> 一个步骤要同时“对目标有用”和“现在做得到”；任何一边接近零，它就不应该获选（PDF pp.3–5；<code>source/main.tex:L207–244</code>）。</p>
<p><strong>符号账本。</strong> Π 是有限技能集；π 是一个低层策略；ℓπ 是它的文字名；(s_n) 是第 (n) 轮状态；(c_π∈{0,1}) 表示技能是否成功；第一项是可供性，第二项是 LLM 对下一个文本步骤的条件概率。</p>
<p><strong>补写推导。</strong> 我们想排序“技能对指令产生进展”的概率。对技能是否成功 (c_π) 分情况：</p>
<p>论文假设技能失败时进展概率为 0，并用 LLM 的标签适切性近似成功后对目标有用的概率，因而留下两项乘积。这是带强假设的排序解释，不是对两个事件无条件独立的声称。</p>
<p><strong>玩具例子。</strong> 任务是“把苹果放到桌上”。LLM 给“拿苹果” 0.60，但机器人还离苹果很远，可供性只有 0.20，乘积为 0.12；“找苹果”的两分是 0.40 和 0.90，乘积为 0.36，因此先导航。到达后重新计算，“拿苹果”的可供性可以升高。这些数是教学例子，不是论文实验数据。</p>
<p><strong>边界检查。</strong> 某项为 0 就形成硬否决；两项都相同时退化为单独依赖另一项。评分若未校准，乘积的数值不能当作任务总成功率。附录明说值函数需经验校准，且实际系统混用学习值函数、距离和规则：放置的可供性固定为 1.0，终止固定为 0.1（论文事实；<code>source/main.tex:L847–885</code>）。</p>
<h3>2. 为什么值函数能当可供性</h3>
<p>论文先学 (Q^π(s,a))，再用 (v(s)=\max_a Q^π(s,a)) 表示当前状态下这项技能最好能做到什么（<code>source/main.tex:L866–872</code>）。当奖励只有终局成功 1、失败 0，且不折扣时，回报的期望就是成功的概率：</p>
<p>这个等式在折扣因子小于 1、有中间奖励或值估计未校准时不再严格成立。主文列出 TD 残差，但没写常见的平方/绝对损失；附录另说实际 Q 更新因二元奖励使用 log loss。复现时应依实现说明，不应将主文的未平方式子自行当成完整训练目标（论文事实与我们的复现判断；<code>source/main.tex:L185–191, L786–799</code>）。</p>
<h2>可证伪预测</h2>
<ol>
<li>**若失败确由缺少当前世界状态造成，**去掉值函数后，尤其在同一指令但起始状态不同的 embodiment 任务上，规划应明显下降。若不下降，则可供性可能没有提供额外信息。</li>
<li>**若 LLM 负责语义拆解，**在技能和可供性不变时，更强的 LLM 应提高规划，但不保证消除低层执行失败。</li>
<li>**若高层规划不能补救脆弱技能，**新技能的规划率可以很高，执行率仍会被操作策略卡住。</li>
</ol>
<h2>实验：每组数字究竟检验什么</h2>
<p><strong>论文事实。</strong> 主实验在一个训练技能用的模拟办公厨房和一个真实办公厨房中进行，涉及 15 个物体、5 个语义位置、7 类共 101 条指令，最长超过 10 个技能步。计划成功率由 3 位评估者判断技能序列是否可完成指令；执行成功率由 3 人看视频判断机器人是否完成任务，两项都以至少 2 人同意为成功（PDF pp.6–7；<code>source/main.tex:L367–431</code>）。</p>
<table>
<thead>
<tr>
<th>要检验的主张</th>
<th>受控比较与指标</th>
<th>精确结果</th>
<th>能说明什么，不能说明什么</th>
</tr>
</thead>
<tbody><tr>
<td>整体系统能处理多类高层指令</td>
<td>PaLM-SayCan；规划/执行成功率</td>
<td>模拟厨房 84%/74%；真实厨房 81%/60%</td>
<td>支持在这 101 条指令和两个相似厨房中的可行性；真实厨房执行下降 14 个百分点，不能推出跨家庭泛化（PDF pp.7、9；<code>source/main.tex:L435–436, L542–547</code>）</td>
</tr>
<tr>
<td>世界接地有用</td>
<td>完整方法 vs No VF；规划成功率</td>
<td>84% vs 67%；embodiment 子集 64% vs 18%</td>
<td>符合“状态信息对起始情况变化最有用”的预测；但多个技能的可供性是规则/距离而非统一学得（PDF pp.8–9；<code>source/main.tex:L512–517, L538–547, L847–885</code>）</td>
</tr>
<tr>
<td>LLM 贡献了高层拆解</td>
<td>完整方法 vs 直接把整句指令给 BC，或用句向量投影；执行成功率</td>
<td>74% vs 0% vs 9%；后者只在单技能子集达到 60%</td>
<td>说明组合任务不是近义句匹配可解决；两基线也没有与 SayCan 完全相同的规划界面（PDF pp.8–9；<code>source/main.tex:L505–509, L529–547</code>）</td>
</tr>
<tr>
<td>更强 LLM 会改善机器人系统</td>
<td>同一 SayCan 中 PaLM 540B vs FLAN 137B；规划/执行</td>
<td>84%/74% vs 70%/61%</td>
<td>支持底层模型变更可传导到系统；不能只归因于参数量，因为训练数据与微调也不同（<code>source/main.tex:L556–595</code>）</td>
</tr>
<tr>
<td>新技能易于接入，但执行仍是瓶颈</td>
<td>加入抽屉技能后的 21 条查询；规划/执行</td>
<td>100%/33%</td>
<td>高计划率与低执行率直接暴露低层操作失败；这不是完整方法的扩展性胜利（<code>source/main.tex:L608–611, L984–1005</code>）</td>
</tr>
</tbody></table>
<p><strong>误差结构。</strong> 长时域子集的规划/执行是 73%/47%，常见问题是 LLM 过早选择终止；全部规划错误中，65% 被归为 LLM 失败，35% 被归为可供性失败（PDF p.8；<code>source/main.tex:L486–495, L540</code>）。论文没有报告置信区间、重复试验方差或评估者一致性，因此几个百分点的差异不应解读为已证实的统计优势（我们的实验审计）。</p>
<h2>优点、缺点与适用边界</h2>
<p><strong>思想优点。</strong> 接口极小：每个技能只需文字名、策略和可供性。语义知识与控制能力可分开更换，技能序列也比端到端连续动作容易查看。</p>
<p><strong>实验优点。</strong> 作者同时测了计划和执行，还分别去掉语言和可供性，使两类失败可区分。真实厨房结果让读者看到域偏移主要压低了执行。</p>
<p><strong>机制缺点。</strong> 贪心乘积没有显式搜索未来，早期的小错会累积；LLM 历史只记录选了什么，不一定知道技能是否真的成功。论文本身也承认，当高值技能失败或环境改变而反馈未进入下一步时，系统不容易反应（<code>source/main.tex:L635</code>；<code>source/long_conclusion.tex:L14–20</code>）。</p>
<p><strong>工程缺点。</strong> 可供性不是一个统一学习模型：抓取用校准值函数，导航用距离，放置固定为 1，还有“已完成就限制”的逻辑。这些选择实用，但使“价值函数接地”的纯粹性弱于概念图（论文事实与我们的判断；<code>source/main.tex:L847–885</code>）。</p>
<h2>复现建议</h2>
<ol>
<li>先在小环境定义可穷举的技能集、自然语言标签和明确的“done”，不要先追求大规模机器人数据。</li>
<li>实现候选评分而非开放生成，记录每轮 LLM 分、可供性分、乘积和实际执行结果。</li>
<li>用留出执行轨迹校准可供性；同时报告排序性能和概率校准，因为 argmax 正确不等于数值可解释。</li>
<li>先复现三个受控比较：完整法、No VF、不用 LLM 的语义投影基线；按起始状态变化和计划长度分层报告。</li>
<li>开源版使用 UR5、CLIPort 策略、ViLD 物体检测器代替值函数、GPT-3 作为 LLM，它能验证接口，不能等价复现 PaLM 移动操作机器人的主结果（论文事实；<code>source/main.tex:L637–644</code>）。</li>
</ol>
<h2>自解释与思考题</h2>
<ol>
<li>在玩具例子中，若“拿苹果”的可供性被高估为 0.9，机器人会怎样失败？下一轮的输入能否告诉 LLM 刚才失败了？</li>
<li>相乘暗含了什么校准和因果假设？改成对数加权和会使哪一类技能更容易获选？</li>
<li>为什么 100% 的抽屉规划只带来 33% 执行？这个反例对“规划模型更强就能解决机器人任务”有什么限定？</li>
<li>如果两个技能的当前乘积相同，一个是稳健的小进展，另一个是高风险的大进展，SayCan 的单步分数足以做选择吗？</li>
<li>请设计一个只改变“物体是否可见/可抓”的对照实验，分别预测 SayCan 和 No VF 的技能序列。哪个结果会推翻“值函数提供了当前世界接地”这一解释？</li>
</ol>
]]></content:encoded>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>embodied</category>
  <category>planning</category>
</item>
<item>
  <title>MRKL Systems：把大模型变成“会找工具的总调度”</title>
  <link>https://keepkeen.github.io/blog/agent-paper-02-mrkl-systems/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-02-mrkl-systems/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>早期清楚提出由 LLM 路由外部知识源和离散推理模块的模块化架构；概念影响强但实验证据较弱。</description>
  <content:encoded><![CDATA[<blockquote>
<p><strong>公开入口：</strong> <a href="https://arxiv.org/abs/2205.00445">arXiv</a> · <a href="https://arxiv.org/pdf/2205.00445v1">PDF</a> · <a href="https://export.arxiv.org/e-print/2205.00445">TeX 源码包</a></p>
<p>文中的 <code>source/...:Lx–Ly</code> 对应解压后的 arXiv TeX 源码坐标；博客不镜像原论文文件。</p>
</blockquote>
<blockquote>
<p>Karpas et al., <em>MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning</em>, arXiv:2205.00445v1, 2022。本文的论文事实均回查了 19 页 PDF 和 TeX 源码；定位使用 PDF 页码与 source/main.tex 行号。</p>
</blockquote>
<h2>一句话结论</h2>
<p>MRKL 最值得记住的是一种系统分工：让语言模型理解请求、选择专家并翻译接口，把精确计算、实时信息和私有数据交给计算器、API 或数据库。这个概念贡献很强，但论文只对“已选中计算器后的参数抽取”做了合成算术实验，没有验证多模块端到端路由、动态知识或多步组合。（论文事实：PDF pp. 4–5, 8–14；TeX:121–175, 238–420）</p>
<h2>1. 先认识四个基本概念</h2>
<ul>
<li><strong>MRKL</strong> 是 Modular Reasoning, Knowledge and Language 的缩写，指一套可扩展的神经—符号模块化架构。它包含路由器和一组专家模块。（PDF pp. 3–4；TeX:115–133）</li>
<li><strong>路由器（router）</strong> 读取自然语言输入，决定该交给哪个专家；模块输出可以直接成为系统输出，也可再路由给另一模块。（PDF p. 4；TeX:121）</li>
<li><strong>专家（expert）</strong> 既可以是通用或小型专用语言模型，也可以是计算器、货币转换器或数据库 API 这样的符号模块。（PDF p. 4；TeX:125–133）</li>
<li><strong>神经—符号交接</strong> 是把含糊、多样的语句变成模块所需的离散参数。例如“二十七加十三是多少”需转换成“计算器，加法，操作数 27 和 13”。论文将这种参数抽取视为主要工程代价。（PDF pp. 5–7；TeX:179–203）</li>
</ul>
<p>一个有用的日常类比是医院分诊：总台听懂病人的叙述，把他送到合适科室，并填好该科室需要的信息。类比的边界在于：MRKL 路由器的错误不只是“去错科室”，还可能是科室正确但参数填错；多模块组合还会让错误逐步累积。</p>
<h2>2. 论文观察到什么失败？</h2>
<blockquote>
<p><strong>论文事实。</strong> 作者归纳了四类问题：静态预训练模型缺少当前信息；无法访问企业私有信息；神经模型在算术等离散推理上不可靠；每个任务单独微调又导致模型数量和重训成本膨胀。作者用大整数加法的错答说明第三类问题，并举汇率、股价、天气和客户名单说明前两类信息差距。（PDF pp. 2–3；TeX:74–109）</p>
</blockquote>
<blockquote>
<p><strong>我们的判断。</strong> 这四类失败并不共享一个成因。前两类是数据可达性和时效性问题，算术是计算归纳偏置和精确性问题，模型膨胀是部署与持续扩展问题。MRKL 用同一个系统边界包住它们，是架构上的统一，不是证明这些问题已被同一实验解决。</p>
</blockquote>
<h2>3. 失败的机制解释</h2>
<p>单个语言模型把三件性质不同的事混在参数里：理解句子、存储世界信息、执行确定计算。参数是训练时历史数据的压缩，因而不会自动知道今天的汇率；令牌预测是近似生成，因而不提供计算器式的精确规则保证。作者的机制性主张是：把语言理解留给神经模型，把动态状态留在外部环境，把确定计算留给符号模块，再用路由器完成交接。（PDF pp. 2–5；TeX:85–151, 179–203）</p>
<p>真正的瓶颈随之转移：计算器不会算错 <code>27+13</code>，但路由器可能把“二十七”读成 17，把“少了”读成加法，或忽略括号优先级。因此，专家执行的确定性不会自动变成整个系统的可靠性；接口抽取是新的失败点。论文也明确说，调用符号方法时应追求合理稳健性，但不应期待语言理解永不出错。（PDF pp. 5–7；TeX:181–203）</p>
<h2>4. 以前的解法改变了哪一环？</h2>
<ol>
<li><strong>直接用大模型生成答案</strong>：一套参数通过预训练承担语言、知识和计算。它的假设是扩大训练可以覆盖目标能力；作者认为这无法给动态数据和算术精确性提供合适的系统保证。（PDF pp. 2–3；TeX:85–109）</li>
<li><strong>每个任务微调一个模型</strong>：改变模型参数来换取专业性，代价是服务多套大模型。（PDF p. 3；TeX:101–109）</li>
<li><strong>多任务/指令微调</strong>：把许多任务合并训练到一个大模型。论文称当时的代表性工作已达 <code>100+</code> 个任务，但增加新任务可能需要为避免灾难性遗忘而重训整个任务集。（PDF p. 3；TeX:107–109）</li>
<li><strong>搜索或计算器的简单规则入口</strong>：明确的 <code>3-1=?</code> 很容易触发计算，但同义表达、文字数字和常识隐含的运算使规则迅速变脆弱。论文用搜索引擎对明确算式与自然表达的对比作为定性例子，不是受控实验。（PDF pp. 5–7；TeX:184–201）</li>
</ol>
<h2>5. MRKL 怎样解决：输入、决策、动作、反馈</h2>
<p>图 1 先把论文的架构主张与实际实验范围画在同一条数据流上。</p>
<p><img src="./assets/llm-agent-paper-reading/agent-paper-02-mrkl-systems-diagram-1.svg" alt="MRKL 路由—模块—环境机制图"></p>
<p><strong>图 1｜MRKL 的系统数据流与证据边界。</strong> 实线是请求与控制流，虚线是专家结果或外部环境反馈。路由器先选择专家，再把自然语言翻译为该专家的离散参数；结果可直接输出，也可继续路由。红色路径是本论文的实验范围：基本算术的参数抽取。其他路径来自作者的架构定义与主张，没有在本文提供相应的端到端数字。（PDF pp. 4–5, 8–14；TeX:121–175, 238–420）</p>
<p>按图 1 可将一轮执行重建为五步：</p>
<ol>
<li><strong>输入</strong>：用户给出自然语言请求。</li>
<li><strong>状态</strong>：本文没有定义持久记忆；对 API/数据库而言，当前状态位于外部环境，而不是冻结在语言模型参数中。（PDF pp. 2, 4；TeX:89–95, 147–149）</li>
<li><strong>决策</strong>：路由器选择通用 LM、专用 LM、计算器或 API；论文没有给出这个选择器的训练和评估方法，并明确将“如何智能路由”留待单独讨论。（PDF p. 5；TeX:171–175）</li>
<li><strong>动作</strong>：路由器抽取操作和操作数，专家执行。算术实验中计算器负责实际计算，因而错误归因于传错操作或操作数。（PDF pp. 7–8；TeX:201–203, 248–250）</li>
<li><strong>反馈与输出</strong>：模块返回结果，系统可以输出该结果或路由到另一模块。论文提出了组合性，但没有展开一个可复现的多步实例。（PDF p. 4；TeX:121, 151）</li>
</ol>
<h2>6. 一个最小例子：读者先猜一步</h2>
<p>请求是：“我有二十七个球，又拿到 13 个，现在多少个？”先别往下看：路由器的下一步应是生成答案，还是生成工具调用？</p>
<p>正确的交接是：选择计算器，抽取 <code>operation=add, a=27, b=13</code>，计算器返回 <code>40</code>，再把结果表达为自然语言。大白话说，语言模型不必背出 27+13；它必须判断“又拿到”对应加法，且不能把中文数字解析错。若删掉符号模块，模型又要承担精确计算；若删掉神经路由器，一组手写规则又很难覆盖“又拿到”、“收到”、“多了”等表达变体。</p>
<p>这个例子也暴露一个未测边界：论文的数据由少量结构化模板生成，主要变化是位数、数字/单词表示、四则运算、操作数量和括号。开头举的常识型故事题并未出现在报告的定量实验中。（PDF pp. 6–8, 15–17；TeX:195–236, 484–572）</p>
<h2>7. 可证伪预测</h2>
<p>核心机制预测是：<strong>若错误主要来自语言到精确操作的交接，那么保持同一语言模型和同一测试集，只把“直接生成数值”换成“抽取参数+确定性计算器”，长位数上的错误率应大幅下降；但同义改写和嵌套语法上的错误仍会留在参数抽取端。</strong></p>
<p>论文的位数实验与前半句一致：只见一位数训练的 MRKL 设置在 1–9 位加法上均为 1.0，乘法只在 6 位时为 0.98；论文引用的 GPT-3 直接答题结果在 2–5 位加法上从 1.0 降至 0.093。不过两者的提示条件和系统边界不同，因而它更像机制演示，不是公平的端到端基线对比。（PDF p. 9；TeX:252–273）</p>
<p>更严格的可证伪测试应将路由错误、参数抽取错误、工具执行错误和最终表达错误分开计数。若工具路径在接口完全正确时仍不优于直接生成，或增加专家后旧任务显著退化，那么“确定性模块带来稳健性”或“模块化可无害扩展”的强版主张就不成立。</p>
<h2>8. 公式证据有限：这篇应读“接口”，不应硬推导</h2>
<p>论文没有给出路由概率、目标函数、损失函数或多步组合的定量方程；TeX 中也没有可推导的公式环境。文中的 <code>A+B*C</code> 等式子只是合成算术任务的标签，不是 MRKL 的学习理论。（PDF pp. 12, 16–17；TeX:357–393, 513–572）</p>
<p>为了精确说清接口，可以用下面的<strong>我们的伪代码形式化</strong>，它不是论文公式：</p>
<pre><code class="language-text">request x
  -&gt; router selects module m
  -&gt; router parses arguments a that satisfy m&#39;s schema
  -&gt; result y = execute(m, a)
  -&gt; return y, or route y to another module
</code></pre>
<p>关键约束是 <code>a</code> 必须满足模块 <code>m</code> 的参数类型、顺序和语义。对减法而言，<code>(27, 13)</code> 和 <code>(13, 27)</code> 会产生不同结果；对两步表达式而言，<code>(A+B)*C</code> 和 <code>A+B*C</code> 的括号就是接口语义的一部分。因而“选对计算器”只完成了一半，必须另外验证参数。</p>
<h2>9. 实验在检验哪条主张？</h2>
<table>
<thead>
<tr>
<th>实验</th>
<th>受控变化与指标</th>
<th>主要结果</th>
<th>能说明什么／不能说明什么</th>
</tr>
</thead>
<tbody><tr>
<td>位数外推</td>
<td>只用一位数训练，测 1–9 位；指标为最终答案准确率</td>
<td>加法全为 1.0；乘法仅 6 位为 0.98</td>
<td>支持“把计算交给计算器后，长位数不再是主瓶颈”；不支持任意语言表达。（PDF pp. 8–9；TeX:252–273）</td>
</tr>
<tr>
<td>数字与单词</td>
<td>训练/测试分别用数字或英文单词</td>
<td>数字→单词 0.156，单词→数字 0.987，单词→单词 0.988</td>
<td>揭示表示变换的强方向不对称；“近乎完美”不能无条件外推。（PDF pp. 9–10；TeX:278–300）</td>
</tr>
<tr>
<td>问句格式</td>
<td>只用 format 0 训练，测其他 4 种模板；4 种运算</td>
<td>多数接近 1.0；非问句 format 4 的减法为 0.863±0.237，除法为 0.727±0.465</td>
<td>说明部分模板转移成功，同时暴露很大的运行间方差。（PDF p. 10；TeX:304–325）</td>
</tr>
<tr>
<td>运算类型转移</td>
<td>只训一种运算，测加减乘除</td>
<td>对角线均 <code>&gt;0.99</code>；其他组合从 0.183±0.196 到 0.987±0.023</td>
<td>证明并非所有操作都可零成本迁移，除法尤其难。（PDF pp. 10–11；TeX:327–349）</td>
</tr>
<tr>
<td>29 种两操作式</td>
<td>14/15 种式随机分为训练/测试，重复 10 个随机划分</td>
<td>22/29 种准确率超过 90%；最低三项为 0.288、0.406、0.562</td>
<td>支持部分结构组合，也显示括号和嵌套语义会失败。（PDF pp. 11–12；TeX:351–393）</td>
</tr>
<tr>
<td>一步到两步</td>
<td>用四种单操作训练，测 16 种无括号两操作组合</td>
<td>加—乘 0.01±0.017，减—乘 0.202±0.247，减—除 0.224±0.213；多个其他组合接近 1.0</td>
<td>强烈否定“见过所有原子操作就自然会组合”的强主张。（PDF pp. 11–13；TeX:397–420）</td>
</tr>
<tr>
<td>few-shot 对比</td>
<td>同测试集；10 个示例的 few-shot 对 prompt tuning</td>
<td>9 位英文单词加法：0.0 对 0.98；format 4：0.22 对 0.993；数字加法两者均为 1.0</td>
<td>说明结构化训练在某些分布外表达上有用，不是所有算术条件都优于 few-shot。（PDF p. 14；TeX:434–479）</td>
</tr>
</tbody></table>
<p>实验使用 70 亿参数 J1-large，配 10 个 prompt token，学习率 0.3、batch size 32。实验 1–2 训练 3000 步；其他实验用 0.001 线性权重衰减，按验证集选 checkpoint，运行 3–5 次并报均值±标准差。作者声明训练和测试问题无重叠，包括排除同一底层算式的不同措辞。（PDF p. 8；TeX:238–246）数据量因实验而异：例如格式迁移实验用 400 个 format 0 训练样本，每种格式的 dev/test 各 200 个；单操作到两操作实验用 700 个单操作训练样本，每个两操作组合的 dev/test 各 210 个。（PDF pp. 15–16；TeX:575–597）</p>
<h2>10. 结果支持到哪里？</h2>
<blockquote>
<p><strong>论文事实。</strong> 数据增强由一组模板的结构化空间生成，覆盖 1–9 位操作数、数字/英文单词、加减乘除、1–2 个操作以及括号位置。单操作有 5 类措辞，两操作选了 29 种自然语言式。（PDF pp. 7–8, 15–17；TeX:223–236, 484–572）</p>
</blockquote>
<blockquote>
<p><strong>我们的判断。</strong> 证据足以说明“语言模型可以通过针对模块接口的结构化训练，高准确率抽取某些基本算术参数”。证据不足以推出：路由器能在多个真实工具间稳定选择；系统能可靠访问动态/私有数据；多跳链路能正确组合；新增模块一定不伤害旧任务；模块调用本身构成完整的因果解释。论文称 Jurassic-X 已由少数合作伙伴试用，但没有给出试用任务、样本量或结果。（PDF pp. 4–5；TeX:137–168）</p>
</blockquote>
<p>论文报告了部分实验的运行间标准差，但没有置信区间、显著性检验、随机种子或真实用户分布。“近乎完美”应限定在已测合成模板内，尤其不能略过 format 4 除法的 0.727±0.465 和一步到两步中的 0.01±0.017 这些反例。（PDF pp. 10, 13；TeX:304–325, 397–420）</p>
<h2>11. 优点与缺点</h2>
<h3>思想与机制</h3>
<p><strong>优点。</strong> MRKL 把“模型什么都自己算”改成“模型负责选择和翻译，专家负责执行”，因而把不同能力的可测边界显式化。新工具可以有独立数据和接口测试，动态信息可留在环境中更新。这些是有清晰因果链的设计优势。</p>
<p><strong>缺点。</strong> 可靠性从“模型算不准”转移为“选错工具或传错参数”。安全回退到通用 LM 可避免无回答，却不等于回答安全；模块调用记录可提供来源线索，却不必然证明路由决策正确。作者列出的回退、扩展性、可解释性、时效信息、私有知识和组合性是架构主张，本文没有分别建立实验。（PDF p. 4；TeX:137–153）</p>
<h3>实验</h3>
<p><strong>优点。</strong> 实验没有只报同分布准确率，还主动改变位数、表示方式、问句模板、运算类型和操作数量，且报告了多个明显失败格子。这使我们能看到能力发生在哪个接口边界。</p>
<p><strong>缺点。</strong> 模板生成数据的语义和句法多样性远低于真实请求；没有人类标注的自然改写、噪声、多意性、不可执行参数或工具失败。GPT-3 表格来自既有论文，与 MRKL 设置的提示和执行链不同；因而它不是等条件消融。最重要的缺口仍是没有比较“正确选工具+正确传参+正确返回”的端到端成功率。</p>
<h3>工程实现</h3>
<p><strong>优点。</strong> 模块接口允许独立更新数据源、替换执行器和进行单元测试；确定性工具能把操作日志留下来。</p>
<p><strong>缺点。</strong> 论文没有提供 Jurassic-X 的代码、路由器细节、接口 schema、延迟/成本、权限与隔离、API 超时、参数校验或多步错误恢复方案。开源链接指向合成数据，而不是完整系统。（PDF pp. 4, 8；TeX:159–168, 223–246）</p>
<h2>12. 复现建议与思考题</h2>
<p>最小忠实复现应先限定为算术参数抽取：根据附录的 5 种单操作模板和 29 种两操作表达生成数据，严格防止同一底层算式跨 train/test；固定 J1-large 类型的冻结语言模型，只学 10 个 prompt token；将专家选择设为“已知为计算器”；分别记录运算符、操作数、括号和最终答案的正确率。这样测的是论文真正实现的主张，不会悄悄加入新路由启发式。（参数与数据量：PDF pp. 8, 15–17；TeX:223–246, 484–597）</p>
<p>若要检验完整 MRKL 假设，那是新的实验阶段：至少应加入通用 LM、计算器和一个动态 API，对同一批混合请求分解工具选择、参数、执行和最终回答四类错误，并在新增专家前后重测旧任务。这一实验才能直接检验论文提出但未验证的路由和扩展性主张。</p>
<p><strong>思考题</strong></p>
<ol>
<li>当路由器不确定时，直接回退到通用 LM 和请求用户澄清，哪一个更“安全”？这取决于什么损失？</li>
<li>若计算器返回正确数值，但系统在最终表达时改错了数字，应把错误归到哪个组件？</li>
<li>表 6 中加—乘为 0.01±0.017，而乘—加为 0.996±0.005。这个顺序不对称更像是运算概念问题，还是句法模板问题？如何只改一个因素来区分？（PDF p. 13；TeX:397–420）</li>
<li>模块调用日志证明了“系统怎样得到答案”，它能否证明“系统为什么应该这样做”？</li>
</ol>
<hr>
<h3>证据定位索引</h3>
<ul>
<li>架构、专家类型与六项声称优势：PDF pp. 3–4；<code>source/main.tex:115–153</code>。</li>
<li>路由问题未展开，参数抽取被选为本文问题：PDF pp. 5–7；<code>source/main.tex:171–217</code>。</li>
<li>数据生成、训练设置与五组实验：PDF pp. 7–13；<code>source/main.tex:223–420</code>。</li>
<li>few-shot 对比：PDF p. 14；<code>source/main.tex:434–479</code>。</li>
<li>模板、两操作式和各实验数据量：PDF pp. 15–17；<code>source/main.tex:484–597</code>。</li>
</ul>
]]></content:encoded>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>tool-use</category>
  <category>routing</category>
</item>
<item>
  <title>WebShop 精读：把“帮我买到合适的东西”变成可训练的 agent 问题</title>
  <link>https://keepkeen.github.io/blog/agent-paper-03-webshop/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-03-webshop/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>较早提供大规模、可交互、以目标完成度计分的真实风格网页购物环境，并暴露长程网页决策差距。</description>
  <content:encoded><![CDATA[<blockquote>
<p><strong>公开入口：</strong> <a href="https://arxiv.org/abs/2207.01206">arXiv</a> · <a href="https://arxiv.org/pdf/2207.01206v4">PDF</a> · <a href="https://export.arxiv.org/e-print/2207.01206">TeX 源码包</a> · <a href="https://github.com/princeton-nlp/WebShop">代码</a> · <a href="https://webshop-pnlp.github.io/">项目页</a></p>
<p>文中的 <code>source/...:Lx–Ly</code> 对应解压后的 arXiv TeX 源码坐标；博客不镜像原论文文件。</p>
</blockquote>
<blockquote>
<p><strong>一句话结论。</strong> WebShop 最值得记住的是一套可扩展的科学装置：它把真实商品文本、自然语言需求、多页面操作和可自动计算的目标完成度接成闭环，因而能够研究“语言理解如何真正落到连续行动上”；论文中得分最高的模型仍与人类专家有很大差距（PDF p.8；<code>source/text/experiments.tex:18-19</code>）。</p>
</blockquote>
<h2>1. 先把基本概念说清楚</h2>
<p>**语言落地（language grounding）**指语句不只被当作字符串，其含义还要约束 agent 对外部环境的行动。“黑蓝色、防水、软底、不超预算”必须分别影响搜索词、商品比较、颜色按钮和最终购买。</p>
<p>**部分可见马尔可夫决策过程（POMDP）**是本文的任务骨架。真实状态是当前网页，agent 只看到当前页面的简化文本与可点按钮，不直接看到评分用的隐藏属性。页面包括搜索、结果、商品和详情四类；动作包括输入查询以及点击翻页、商品、规格、详情、返回和购买等文本按钮（PDF p.4；<code>source/text/benchmark.tex:17-26</code>）。</p>
<p>**BM25、模仿学习（IL）与强化学习（RL）**分别承担检索、冷启动和奖励优化。BM25 根据词项匹配返回候选商品；IL 学人类曾经搜什么、点什么；RL 再用终局奖励调整决策。这三者不是同一件事：检索引擎决定“看得到哪些候选”，策略决定“看到后怎么走”。</p>
<h2>2. 观察到的失败与机制解释</h2>
<h3>旧设定在哪里卡住</h3>
<p><strong>论文事实。</strong> 早期网页 benchmark 要么只做一次分类，要么每个 episode 只有少量页面，要么把动作限制为跟随链接；更长的开放网页任务又往往需要人类反馈。WebShop 针对的具体失败是：把一句用户需求原样丢给搜索引擎，然后买第一个结果，无法正确处理规格、同义表达和多商品比较（PDF pp.2-3, 6；<code>source/text/related_work.tex:5-17</code>；<code>source/text/method.tex:7-11</code>）。</p>
<p><strong>我们的机制解释。</strong> 失败不只是编码器“不够大”，而是四个环节串联后的误差累积：查询未改写会让正确商品不在候选中；页面文本噪声会破坏属性和规格对齐；只贪心选当前最高分按钮容易在页面间循环；没有显式记忆时，看过多个商品也难以回头做比较。作者的轨迹分析同样指向查询重写、稳健语义匹配、探索和长期记忆（PDF pp.8-9；<code>source/text/experiments.tex:47-56</code>）。</p>
<h3>别人怎样改这条链</h3>
<p><strong>跨论文解释。</strong> 相关方法改动的环节各不相同：查询重写改变“用什么词找”；工作流引导与探索奖励改变“哪里值得试”；DOM 或超文本表示改变“页面怎样编码”；外部记忆改变“看过的东西怎样留下”。它们都假设该环节才是当前瓶颈。WebShop 的价值是把这些瓶颈放进同一条长程轨迹中，使研究者可以做受控比较（PDF pp.3, 5；<code>source/text/related_work.tex:5-17</code>；<code>source/text/benchmark.tex:120-122</code>）。</p>
<h2>3. WebShop 怎样把问题做成可训练环境</h2>
<h3>环境是怎样建出来的</h3>
<p><strong>论文事实。</strong> 作者抓取了 <code>amazon.com</code> 上 1,181,436 个商品，覆盖时尚、美妆、电子、家具和食品；主文说使用 113 个子类别查询，附录则写 313 个，这是原文内部不一致（PDF pp.5, 12；<code>source/text/benchmark.tex:81</code>；<code>source/appendixtext/env.tex:7</code>）。商品文本平均长度为 262.9，共有 842,849 个唯一选项（PDF p.5；<code>source/text/benchmark.tex:81</code>）。</p>
<p>检索引擎离线建立 BM25 索引，将标题、描述、概览和定制选项拼接成商品文本；每次搜索最多展示 50 个结果，分成每页 10 个的若干页面。直接搜索完整指令时，目标商品在首页的比例为 32.2%，排名超出可见结果的比例为 56.1%。这直接说明查询重写不是锦上添花（PDF p.4 图 2, p.16；<code>source/appendixtext/env.tex:30-33</code>）。</p>
<p>作者对商品标题与描述的二元词组计算 TF-IDF，每个大类人工检查排名靠前的 200 个词组，最终得到 670 个隐藏属性。众包工作者看到目标商品的标题、类别、属性和选项后写指令，共收集 12,087 条，平均 15.9 个词（PDF p.5；<code>source/text/benchmark.tex:89-96</code>）。这个生成过程使每条指令都有可机器核对的属性、规格和价格约束。</p>
<h3>数据流、控制流与反馈</h3>
<p><img src="./assets/llm-agent-paper-reading/agent-paper-03-webshop-diagram-1.svg" alt="WebShop 交互与评测闭环"></p>
<p><strong>图 1｜WebShop 交互与评测闭环（原创机制图）。</strong> 蓝色实线是一次 episode 中的数据与动作流：用户指令进入策略，策略发出搜索或点击，环境返回新页面和可选按钮。购买后才计算终局奖励。橙色虚线是训练反馈，不代表测试时 agent 可查看隐藏属性。图中的指令示例、状态类型与指标定义来自 PDF pp.4-6 及 <code>source/text/benchmark.tex:17-63</code>、<code>source/text/method.tex:13-42</code>。</p>
<p>贯穿全文的最小任务是：用户要“黑蓝色、防水、软底、低于 90 美元的运动鞋”（PDF p.4；<code>source/text/benchmark.tex:47-52</code>）。agent 先要决定是否保留整句话，还是改写为更像商品标题的关键词；看到结果后，它要在“继续翻页”和“打开某商品”之间选择；进入商品页后还必须点对颜色规格才能购买。请在每一轮先预测 agent 会点什么，再问：“当前页面真的包含做决定所需的信息吗？”这个问题能帮你区分“理解错了”与“所需信息根本还没看到”。</p>
<p><strong>日常类比。</strong> 这像让一位店员代购：他先把你的口语需求改成货架标签，再来回比较候选，最后核对尺寸、颜色和价格。类比的边界是：WebShop 中的转移和检索是确定的，动作是高层文本按钮，不需要处理广告弹窗、登录、库存变化或付款风险（PDF p.4；<code>source/text/benchmark.tex:23-45</code>）。</p>
<h2>4. 关键公式：它们在系统里管什么</h2>
<h3>4.1 目标/属性匹配奖励</h3>
<p>论文给出的终局奖励是（PDF p.5；<code>source/text/benchmark.tex:47-59</code>）：</p>
<p><strong>大白话目的。</strong> 先计算用户提到的属性、规格和预算完成了几项，再用商品类型相似度做门控，避免“属性对了却买成另一类商品”。</p>
<p><strong>符号账本。</strong> $U_{\text{att}}$ 和 $U_{\text{opt}}$ 是指令需要的属性集和选项集；$Y_{\text{att}}$ 和 $Y_{\text{opt}}$ 是已选商品拥有的集合；交集大小是匹配项数；指示函数在商品价格 $y_{\text{price}}$ 不超用户上限 $u_{\text{price}}$ 时为一，否则为零；$r_{\text{type}}\in[0,1]$ 用粗/细类别和标题字符串匹配估计商品类型（PDF p.18；<code>source/appendixtext/env.tex:45-58</code>）。分母是所有必需条件数，所以括号内是一个完成比例。</p>
<p><strong>逐步重建。</strong> 令 $m_{\text{att}}=|U_{\text{att}}\cap Y_{\text{att}}|$、$m_{\text{opt}}=|U_{\text{opt}}\cap Y_{\text{opt}}|$，再令 $b$ 表示是否守住预算。指令一共提出 $|U_{\text{att}}|+|U_{\text{opt}}|+1$ 个可核对要求，已满足的是 $m_{\text{att}}+m_{\text{opt}}+b$个，两者相除就是要求完成率。最后乘 $r_{\text{type}}$ 相当于把“是不是这类东西”放在外层。这段是对论文公式的等价拆解，没有新增评分项。</p>
<p><strong>玩具手算（我们的示例）。</strong> 假设需要两个属性和一个颜色选项，候选商品只匹配一个属性，颜色正确且不超预算，则完成比例为 $(1+1+1)/(2+1+1)=0.75$。类型正确时取 $r_{\text{type}}=1$，最终 $r=0.75$；若类型门控只给 $0.1$，奖励降为 $0.075$。</p>
<p><strong>边界检查。</strong> 所有条件都满足且类型正确时 $r=1$；价格超标只会少一项，不会直接清零；类型门控为零时，其他条件再像也得零分。设计保证属性集非空，分母还固定加价格项，因此不会除零（PDF p.4；<code>source/text/benchmark.tex:47-51</code>）。</p>
<h3>4.2 模仿选择与策略梯度</h3>
<p>点击策略用人类动作的负对数似然训练：$\mathcal L_{\text{choose}}=-\mathbb E\log \pi_\theta(a^<em>\mid o,\mathcal A(o))$。$o$ 是当前观测，$\mathcal A(o)$ 是可点按钮集，$a^</em>$ 是人类点击。BERT 分别编码页面和候选动作，交叉注意力再给每个动作打分（PDF pp.6-7；<code>source/text/method.tex:22-30</code>）。若模型给人类动作的概率是 $0.7$，单样本损失约为 $-\ln 0.7=0.357$；概率趋近一时损失趋近零，趋近零时损失趋向无穷大。</p>
<p>RL 使用 $\mathcal L_{\text{PG}}=-\mathbb E[(R_t-V(o_t))\log\pi(a_t\mid o_t,\mathcal A(o_t))]$。$R_t$ 是从当前时刻往后的折扣回报，$V(o_t)$ 是价值基线，二者之差是“这步比预期好多少”。我们的玩具例子中，若 $R_t=0.75$、$V=0.45$、动作概率为 $0.2$，则损失项约为 $-0.3\ln0.2=0.483$，梯度会推高该动作概率；当 $R_t=V$ 时该项为零（PDF p.7；<code>source/text/method.tex:36-42</code>）。</p>
<h2>5. 策略比较、可证伪预测与实验证据</h2>
<h3>比的是什么</h3>
<p>数据被分为 10,587/1,000/500 条训练/开发/测试指令，所有人类与模型的主结果都在同一组 500 条测试指令上平均；IL 使用 1,012 条训练轨迹，另有 54 条开发集轨迹用于选超参与检查点（PDF p.7；<code>source/text/experiments.tex:3-6</code>）。对比包括原样搜指令并买首个结果的规则、IL、IL 后再 RL，以及去掉搜索预训练、选择预训练、图像或改成 RNN 的消融（PDF pp.7-8, 20；<code>source/text/experiments.tex:15-30</code>；<code>source/tabletext/image_ablation.tex:1-18</code>）。</p>
<p><strong>可证伪预测。</strong> 如果主要瓶颈是“候选商品里选错按钮”，那么在查询不变时，用可访问隐藏奖励的选择 oracle 替代策略，成功率应大幅上升；若不上升，说明瓶颈更可能在搜索召回。实验中，使用原指令搜索时，oracle 将规则基线的成功率从 9.6% 提高到 85.4%；用人类最后一次查询时达到 87.8%。这支持“选择是主要瓶颈”，同时人类最后查询仍更好，说明搜索重写也没有被排除（PDF p.9；<code>source/text/experiments.tex:60-63</code>）。</p>
<h3>主结果与人类差距</h3>
<p><strong>论文事实。</strong> 规则基线的 Task Score/SR 为 45.6/9.6%，IL 为 59.9/29.1%，IL+RL 为 62.4/28.7%。因此 RL 提高了平均完成度，却没有提高完全成功比例。人类专家为 82.1/59.6%，最高模型 SR 还不到专家的一半（PDF p.8 图 4；<code>source/text/experiments.tex:18-19</code>）。</p>
<p>分项结果解释了为什么：IL 的选项分为 45.2，IL+RL 降到 38.9；同时平均访问状态数从 9.4 降到表中的 4.5。正文另一处将后者写成 4.8，这是原文的小型数字不一致（PDF pp.8-9；<code>source/tabletext/breakdown.tex:7-20</code>；<code>source/text/experiments.tex:56</code>）。RL 把策略变得更贪心，早停带来更高属性、类型和价格分，但更少比较规格。人类专家平均查看 11.3 个状态、选项分为 73.9（PDF p.8；<code>source/tabletext/breakdown.tex:7-20</code>）。这些是轨迹相关证据，它不能单独证明“只要走得更长就会更好”。</p>
<p>模型在真实 Amazon 上的 IL+RL 得分/SR 为 65.9/25%，在 eBay 上为 62.3/21%；这项零样本迁移每个网站只用 100 条测试指令，且奖励由人工按原式评分（PDF p.10；<code>source/text/experiments.tex:89-121</code>）。它说明简化文本接口能迁移一些行为，不说明 agent 能安全完成真实付款：迁移界面只允许导航，提交表单与购买被拦住（PDF p.22；<code>source/appendixtext/limitation.tex:11</code>）。</p>
<h3>实验审计：每组结果究竟检验什么</h3>
<table>
<thead>
<tr>
<th>实验</th>
<th>受控变化</th>
<th>能够检验的主张</th>
<th>不能排除的因素</th>
</tr>
</thead>
<tbody><tr>
<td>规则、IL 与 IL+RL 主比较</td>
<td>学习信号与预训练策略</td>
<td>人类示范显著改善任务，RL 优化总分与完全成功并不等价</td>
<td>架构、搜索和探索强度一起改变（PDF pp.7-8）</td>
</tr>
<tr>
<td>去掉搜索或选择预训练</td>
<td>单个预训练部件</td>
<td>选择端的语言预训练更关键</td>
<td>从头训练也可能受样本量和优化难度限制（PDF p.8；<code>source/text/experiments.tex:21-25</code>）</td>
</tr>
<tr>
<td>选择 oracle</td>
<td>固定查询，穷举候选和规格</td>
<td>点击/选规格是可单独被识别的大瓶颈</td>
<td>oracle 的巨大步数与隐藏信息不可实用（PDF p.9）</td>
</tr>
<tr>
<td>真实网站迁移</td>
<td>替换商品数据和搜索引擎</td>
<td>简化文本接口下的策略有非零迁移能力</td>
<td>样本较小、人工评分，且实际购买被屏蔽（PDF p.10）</td>
</tr>
</tbody></table>
<h2>6. 证据能支持到哪里</h2>
<p><strong>思想上的优点。</strong> 环境转移与任务指令/奖励分离，便于替换数据或任务；真实商品文本与高层语义动作让任务比像素点击更容易扩展；部分奖励使失败不只是一个零，可以分解为属性、选项、类型和价格问题。</p>
<p><strong>实验上的优点。</strong> 论文同时比较规则、IL、RL、人类、模块消融、选择 oracle 和真实网站迁移，并把轨迹长度与奖励分项对起来。这比只报一个平均总分更容易定位瓶颈。</p>
<p><strong>工程上的优点。</strong> 确定性检索引擎便于复现，OpenAI Gym 封装和 HTML/简化文本双视图降低了 agent 接入成本（PDF pp.4-5；<code>source/text/benchmark.tex:45,85</code>）。</p>
<p><strong>评测局限。</strong> 奖励依赖从目标商品挖出的隐藏标签与精确字符串匹配，同义词会被低估，稀有选项又可能成为泄漏目标的捷径。作者对普通与专家轨迹各抽样 100 条人工复评：普通轨迹的自动/人工分为 74.9/76.3，Pearson 相关为 0.856；专家为 81.5/89.9，相关为 0.773。这表明自动分数近似可用且倾向低估，不等于它已完美代替人类判断（PDF p.18；<code>source/appendixtext/env.tex:67-90</code>）。</p>
<p>数据仅来自美国英文站点与若干商品大类，属性池包含人工筛选偏差；指令中的属性有时过于宽泛，选项有时又过于特殊。主切分是 i.i.d. 随机切分，没有测新品类、新语言或新站点样式下的系统性泛化（PDF pp.7, 22；<code>source/text/experiments.tex:5</code>；<code>source/appendixtext/limitation.tex:5-14</code>）。去掉图像后 IL 的平均得分仅从 60.6 变为 60.3，与当前指令和奖励主要依赖文本一致；因而该实验不能证明模型已具备强视觉理解（PDF p.20；<code>source/tabletext/image_ablation.tex:6-10</code>）。</p>
<h2>7. 复现建议与思考题</h2>
<p><strong>最小复现路径。</strong> 先固定论文的数据切分和 BM25 索引，用规则基线核对 Task Score/SR；再只复现 BART 搜索与 BERT 选择的 IL，核对奖励分项和轨迹统计；最后才加 RL，专门检查平均得分上升时选项分与探索长度是否同步下降。IL 训练的论文配置是单卡约 2 小时，RL 的 Transformer 配置约 27 小时；这些是作者机器上的报告时间，不是现代硬件的保证（PDF pp.19-20；<code>source/appendixtext/exp.tex:7-13</code>）。</p>
<p><strong>自解释问题。</strong></p>
<ol>
<li>如果目标商品没有进入 BM25 的可见候选，更强的点击策略还能做什么？</li>
<li>为什么 IL+RL 可以总分更高而完全成功率更低？请用奖励式和选项分回答。</li>
<li>如果把精确属性匹配换成语义相似度，哪一类错误会减少，哪一类“看似相似但实际不合格”的错误可能增加？</li>
<li>选择 oracle 的数百到数千步穷举不能作为实用 agent，但它为什么仍是有价值的科学对照（PDF p.9；<code>source/text/experiments.tex:60-63</code>）？</li>
</ol>
<hr>
<h2>证据标记说明</h2>
<p>文中“论文事实”来自上述 PDF 和 TeX 源码；“跨论文解释”是根据论文相关工作类别做的机制归纳；“我们的机制解释”与玩具计算是为帮助理解而补充，不是作者另外报告的实验结果。</p>
]]></content:encoded>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>web</category>
  <category>environment</category>
</item>
<item>
  <title>《Inner Monologue: Embodied Reasoning through Planning with Language Models》中文精读</title>
  <link>https://keepkeen.github.io/blog/agent-paper-04-inner-monologue/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-04-inner-monologue/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>把成功检测、场景描述和人类反馈写回语言上下文，明确展示闭环反馈如何修正具身计划。</description>
  <content:encoded><![CDATA[<blockquote>
<p><strong>公开入口：</strong> <a href="https://arxiv.org/abs/2207.05608">arXiv</a> · <a href="https://arxiv.org/pdf/2207.05608v1">PDF</a> · <a href="https://export.arxiv.org/e-print/2207.05608">TeX 源码包</a> · <a href="https://inner-monologue.github.io/">项目页</a></p>
<p>文中的 <code>source/...:Lx–Ly</code> 对应解压后的 arXiv TeX 源码坐标；博客不镜像原论文文件。</p>
</blockquote>
<blockquote>
<p>论文信息：Wenlong Huang、Fei Xia、Ted Xiao 等；2022-07-12 首次公开；CoRL 2022；<a href="https://arxiv.org/abs/2207.05608">arXiv:2207.05608</a>；<a href="https://proceedings.mlr.press/v205/huang23c.html">正式 proceedings</a>；<a href="https://inner-monologue.github.io/">项目页</a>。本地元数据未给出独立代码库地址。</p>
<p>证据版本：上述 PDF 共 25 页，SHA-256 <code>ecf30268add2af672291ad65b53c9fd87801f6490b0af195b12db1dedee0f2b9</code>；TeX 源码可读，公式自动抽取数为 0。</p>
<p>阅读提示：下文用 <strong>[论文事实]</strong>、<strong>[跨论文背景]</strong> 和 <strong>[我们的判断]</strong> 分开证据、研究脉络与解读。</p>
</blockquote>
<h2>一句话结论</h2>
<p><strong>[论文事实]</strong> Inner Monologue 没有训练一个新的端到端机器人模型，而是在每个技能执行后，把成功/失败、场景变化或人类回答写回冻结 LLM 的语言上下文，让下一步计划可以重试、改道或终止。三个异构环境中的成功率改善支持“反馈进入规划上下文有用”，但并不证明自然语言是最优状态表示，也不证明无人类/脚本神谕的全自动系统已经成立（PDF 第 1–9 页；<code>source/main.tex:177–195, 451–474</code>）。</p>
<h2>1. 基本概念</h2>
<p><strong>[论文事实]</strong> 设高层语言指令为 $i$，机器人可用的短时技能策略库为 $Π$，第 $k$ 个策略是 $π_k$，对应的文字描述是 $ℓ_k$。LLM 不直接输出关节力矩，而是在这个有限技能库上组织高层步骤。环境观测 $o$ 被转成文本，可以是技能成功判断、物体列表、任务进度、视觉问答或人类反馈（PDF 第 3–4 页；<code>source/main.tex:177–219</code>）。</p>
<p>“闭环”指动作后的世界结果会影响后续决策；“开环”则是先生成一串计划，默认每步都成功。论文区分三类反馈：技能级二元 <strong>Success</strong>；每步自动提供、带结构的被动场景描述 <strong>Object/Scene</strong>；由 LLM 主动提问后才获得的开放回答 <strong>Human</strong>（PDF 第 4 页；<code>source/main.tex:199–219</code>）。</p>
<p><strong>[我们的判断]</strong> 一个好用的日常类比是“做菜时每做一步都看锅，再决定下一步”。类比的失效处在于：人能连续观察温度、气味和质地，这里的 LLM 只能看到反馈模块选择性转写的文本；转写丢掉或说错信息时，规划器没有原始感官可以自行核对。</p>
<h2>2. 问题：旧方法在哪里失败</h2>
<h3>2.1 观察到的失败</h3>
<p><strong>[论文事实]</strong> 作者针对的具体失败不是“LLM 不会分解任务”，而是“执行现实与计划假设不一致之后，计划不改”。例如，抓取失败后还继续导航送物；一个初始被遮挡的木块重新出现后，旧计划仍把任务当成已完成；或低层放置受扰动失败，高层却不重试（PDF 第 3、6–7 页；<code>source/related.tex:11–14</code>；<code>source/main.tex:318–320, 331–340</code>）。</p>
<h3>2.2 机制解释</h3>
<p><strong>[论文事实]</strong> 作者的机制假设是：既有 LLM 规划在高层是单向的，执行结果没有返回 LLM，所以 LLM 缺少触发“重试、换技能、修改子目标、停止”的条件。干预的最小形式是把已落地的反馈文本注入同一提示，而不改变冻结 LLM 的参数（PDF 第 3 页；<code>source/main.tex:186–195</code>）。</p>
<p><strong>[我们的判断]</strong> 这是“信息通路缺失”假设，不是“推理模型容量不足”假设。因此最有辨别力的比较应保持 LLM、技能和任务不变，只改变反馈是否在每步返回。论文的消融大体朝这个方向，但某些变体同时更换了反馈内容和思维链提示，不是完全单因素。</p>
<h3>2.3 既有解法</h3>
<p><strong>[跨论文背景]</strong> 传统任务与运动规划（TAMP）联立离散任务序列与连续运动可行性；层级强化学习把长时程任务分解为高低层决策。它们依赖可用的状态、模型或训练信号（<code>source/related.tex:1–7</code>；<code>source/ref.bib:104–155</code>）。同期的 Language Models as Zero-Shot Planners 用 LLM 产生步骤，再把文本映射到合法动作；SayCan 把 LLM 的动作相容性与低层价值函数（affordance 代理）相乘；Socratic Models 把多个视觉、语言与控制模型通过语言接口组合。这些原理分别解决“如何分解”、“选中的技能是否可执行”和“异构模块如何通信”；Inner Monologue 专门补上“执行后的结果如何改变后续高层计划”（<code>source/related.tex:11–25</code>；<code>source/ref.bib:4–8, 57–63, 204–208</code>）。</p>
<h2>3. 核心机制：反馈写回上下文</h2>
<p><img src="./assets/llm-agent-paper-reading/agent-paper-04-inner-monologue-diagram-1.svg" alt="Inner Monologue 闭环机制：环境反馈转成文本，追加后修正下一步"></p>
<p><em>图 1（原创机制图）。蓝色实线是指令→规划→技能→环境的执行流；橙色虚线是环境观测经成功检测、被动场景描述或主动人类问答转成文本，再追加到 LLM 上下文的关键闭环。图中“抓取失败”表明回路的因果作用：它使下一轮转向重试或改计划；图不声称文本反馈必然正确。</em></p>
<p><strong>[论文事实]</strong> 三个环境共享上述抽象，但实现不同：仿真桌面用 InstructGPT-1.3B、脚本/真值反馈与训练好的 pick-and-place；真实桌面用 InstructGPT-1.3B、MDETR 和启发式成功判断；真实厨房用 PaLM-540B、SayCan 价值函数、微调 CLIP 成功检测及人工物体列表（PDF 第 5、15 页；<code>source/appendix/appendix.tex:5–35</code>）。因此论文测的是一个跨系统设计原则，不是同一套参数从仿真直接迁移到真机。</p>
<h3>3.1 最小贯穿例子</h3>
<p><strong>[论文事实]</strong> 仿真提示中，任务是把青、黄、棕三个木块移到左上角。LLM 先写出三个目标子条件，再移动青色木块；当黄色木块第一次移动后，Scene 仍只报告青色子目标完成，于是下一步再次移动黄色木块；后面青色子目标又被扰乱时，系统回头补做青色，直至三个子目标同时成立（<code>source/appendix/ravens_full_prompt.tex:3–25</code>）。</p>
<p>读者可在每轮先自问：如果只保留初始物体列表，删除“已完成子目标”，LLM 凭什么知道刚才的黄色移动失败？答案是：它不知道；只能沿原先古典计划继续。</p>
<h3>3.2 可证伪预测</h3>
<p><strong>[我们的判断]</strong> 如果“关键问题是执行结果没有返回高层规划”这一机制解释正确，那么在固定 LLM、技能、提示示例数和扰动强度时，每步正确的 Success 反馈应主要降低“失败后未重试”，Scene 反馈应主要降低“错误终止/遗漏子目标”；两者组合应在遮挡或扰动多的长时程任务上改善最大。</p>
<p>若实现与论文提示格式、反馈时序一致，且单步检测精度足够，但上述错误类型不下降，则假设受到反证：可能 LLM 不能稳定地把文本反馈转成控制修正。若完全不改善且提示没有实际追加反馈，那是实现错误，不能判定科学假设。若只有神谕 Scene 有用、噪声感知文本无用，则证据支持的只是“正确文本状态有用”，而不是可部署的感知闭环。</p>
<h2>4. 关键公式：论文没有新损失，可用递推重建控制流</h2>
<p><strong>[论文事实]</strong> 正文没有给 Inner Monologue 一个统一方程、目标函数或训练推导；它是通用提示回路。以下两式是 <strong>[我们的判断]</strong> 为便于重建而补写的最小形式化，不是原文公式：</p>
<p>大白话：式（1）把刚做的动作和刚观测到的结果接到历史后面；式（2）在新历史下选下一个技能。符号账本：$t$ 是高层步数；$C_t$ 是截至第 $t$ 步的语言上下文；$\Vert$ 是字符串追加；$a_t ∈ \mathcal A_t$ 是合法技能；$ℓ(a_t)$ 是其文本名称；$o_{t+1}$ 是执行后观测；$f$ 是把观测和意图转成 Success/Object/Scene/Human 文本的适配器；$p_{LM}$ 是 LLM 对动作文本的条件分数；$q_t(a) ∈ [0,1]$ 是可选的可行性/价值因子，在 SayCan 厨房实现中使用，在仅做提示选择的简化情况可设为 1（SayCan 相乘原理见 <code>source/related.tex:11–14</code>；厨房实现见 <code>source/main.tex:331–335</code>）。</p>
<p>推导只需三步：先用 πₖ 作用于环境得到 $o_{t+1}$；再用 $f$ 压缩为可读文本并追加为 $C_{t+1}$；最后在新的条件分布上选动作。这不假设 $C_t$ 是完整马尔可夫状态，也不保证乘积是已归一化概率。</p>
<p>玩具计算：初始时“继续移动黄块”与“移动棕块”的 LLM 分数分别为 0.6 和 0.4，可行性分别为 0.8 和 0.9，乘积为 0.48 与 0.36，因此选黄块。执行后追加“黄色子目标未完成”，若新的 LLM 分数变为 0.9 与 0.1，则乘积变为 0.72 与 0.09，再次选黄块。这些数值仅是讲解用的假设，不是论文测量值。</p>
<p>边界检查：$f = \varnothing$ 时，式（1）只记动作而不记结果，基本退化为开环；$q_t(a)=0$ 时，再流畅的 LLM 建议也不应被执行；成功检测假阳性时，$C_{t+1}$ 会误写“已成功”并导致跳步；假阴性时则会无效重试。这正对应作者列出的两类失效后果（PDF 第 9 页；<code>source/main.tex:455–459</code>）。</p>
<h2>5. 实验：每组证据回答什么</h2>
<table>
<thead>
<tr>
<th>证据组</th>
<th>受控比较与环境</th>
<th>指标/样本</th>
<th>主要结果</th>
<th>定位</th>
</tr>
</thead>
<tbody><tr>
<td>仿真桌面</td>
<td>CLIPort、只有 Object、Object+Success、Object+Scene；含测试时扰动</td>
<td>8 个任务（4 见/4 未见），每法每任务 50 回合，完成率</td>
<td>匹配碗任务 56.0%→70.0%→82.0%；错配碗 62.0%→76.0%→86.0%；最难的“在角/边上堆叠全部木块”仅 0.0%→4.0%→6.0%</td>
<td>PDF 第 5–6 页；<code>source/main.tex:247–289</code></td>
</tr>
<tr>
<td>真实桌面</td>
<td>初始一次 Object 对每步 Object、Success 及两者组合</td>
<td>两任务，表 2 报告每项 10 次，任务成功率</td>
<td>堆叠 20%→40%/40%→100%；分拣 20%→50%/40%→80%；合计 20%→45%/40%→90%</td>
<td>PDF 第 6 页；<code>source/main.tex:292–320</code></td>
</tr>
<tr>
<td>真实厨房</td>
<td>SayCan 对 +Success 和 +Object+Success；无/有人为扰动</td>
<td>3 任务族、共 120 次评估，任务成功率</td>
<td>总体 30.8%→48.7%→60.4%；有扰动的移动操作 0.0%→25.0%→75.0%；有扰动的抽屉 0.0%→44.4%→44.4%</td>
<td>PDF 第 7 页；<code>source/main.tex:324–372</code></td>
</tr>
</tbody></table>
<p><strong>[我们的判断]</strong> 逐组审计时，仿真组最直接检验“更完整的任务进度是否帮助恢复”，但 Object+Scene 还加了思维链总结，是一个混杂因素（<code>source/main.tex:251–254</code>）。真实桌面组检验 Object 与 Success 的互补性，但样本小且人为注入控制噪声。厨房组最直接检验“强制技能失败时是否会恢复”，但人工 Object 反馈使它同时检验了一个带高质量神谕的系统，不是纯自动感知系统（<code>source/main.tex:334–340</code>）。</p>
<p><strong>[论文事实]</strong> 仿真表明改善不是逐项单调：已见的“移到指定角/边”上，Object 是 30.0%，Object+Success 反而是 28.0%，Object+Scene 回到 30.0%。“全部木块放入指定碗”也是 52.0%→46.0%→56.0%。所以可支持的是富反馈在多数长时程/扰动项上有帮助，不是“多一类反馈必定提升每个任务”（PDF 第 6 页；<code>source/main.tex:271–279</code>）。</p>
<p><strong>[我们的判断]</strong> 真实桌面的两种反馈很有互补性：Object 解决遮挡后出现的物体，Success 解决噪声导致的动作失败。但每项 10 次较小，论文未给置信区间或显著性检验，因此“90% 对 20%”是强差异，而“45% 对 40%”不应解读为稳定排名。厨房表的 120 次评估支持系统级优势，但它同时使用 PaLM-540B、SayCan 价值函数、学到的成功检测和人工物体反馈，不能将改善归因于某一个感知模型。</p>
<p>论文还展示了中途改指令、不可行时自提替代目标、多语言交互和基于历史的场景问答，但作者明说这些未提示能力的一致性不一；它们是定性案例，不是带样本规模的成功率评估（PDF 第 8–9 页；<code>source/main.tex:390–445</code>）。</p>
<h2>6. 优点</h2>
<p><strong>[我们的判断]</strong> 思想上，它找到了一个极小但清晰的干预点：不重训 LLM，只修复从环境回到规划器的信息边。这使成功检测、开词表物体识别和人类回答都能通过同一文本接口接入。实验上，仿真、真实桌面、真实移动操作三种差异很大的系统都出现了与预测同向的改善，而且扰动条件的厨房对照直接压测了恢复机制。工程上，模块化设计保留了现有低层技能和感知器，提示还在附录中公开（<code>source/appendix/appendix.tex:129–134</code>）。</p>
<h2>7. 局限</h2>
<p><strong>[论文事实]</strong> 作者承认仿真桌面和真实厨房使用人类或脚本系统提供神谕式场景描述；错误来源包括成功检测、LLM 规划和低层控制。假阴性会导致多余重试，假阳性会制造部分可观测性；LLM 有时也会无视反馈，继续提议操作不存在的物体。低层技能边界则同时限制总成功率和 LLM 可以合理规划的任务空间（PDF 第 9 页；<code>source/main.tex:451–465</code>）。附录的 10 个厨房回合上，ViLD 的 precision/recall/accuracy 为 85.7%/72.0%/88.9%，MDETR 为 39.6%/87.5%/68.2%，说明用现成开词表检测替换人工物体列表仍有明显误差（<code>source/appendix/saycan.tex:15–47</code>）。</p>
<p><strong>[我们的判断]</strong> 最大的科学边界是语言闭环与高质量状态神谕纠缠。论文展示“如果能得到足够好的文本反馈，LLM 能用它”，但对“在真实噪声、延迟和互相矛盾的多源感知下，语言是否仍是可靠状态”证据较弱。没有与结构化状态、经典重规划器或具有相同反馈带宽的非语言策略直接比较，因此不能把收益特有地归因于“内心独白”这一表示形式。</p>
<p>复现还有一个源码内部不一致：真实桌面正文写动作高斯噪声 σ=4 mm、在 2σ 截断（PDF 第 6 页；<code>source/main.tex:295</code>）；附录却写堆叠任务 σ=1.5 cm、分拣任务 σ=0.7 cm，在 1.5σ 截断（<code>source/appendix/tabletop_real.tex:23–24</code>）。这不应被静默“修正”；复现前需询问作者或两套都跑并报告敏感性。</p>
<h2>8. 复现路线</h2>
<p><strong>[我们的判断]</strong> 最小可复现实验应选仿真桌面，不先复制完整厨房系统。</p>
<ol>
<li>实现一个有限物体的 Ravens 类 pick-and-place 环境，先只选“颜色匹配碗”和“移到指定角”两个任务。原实验最多 4 个木块、3 个碗，颜色从 10 种中选，初始物体间距至少 15 cm（<code>source/appendix/appendix.tex:46–49</code>）。</li>
<li>固定同一 LLM、同一少样本提示和同一低层策略，只比较 Object、Object+Success、Object+Scene；不加额外损失、自适应模块或备用规划器。原仿真低层策略用 20,000 条演示训练（<code>source/appendix/tabletop_sim.tex:4–10</code>）。</li>
<li>严格记录每轮原始状态、生成动作、执行结果、反馈文本和新提示；先核对反馈确实在下一轮进入上下文，再解读成功率。成功检测的仿真规则是被抓物与放置物的二维距离小于 4 cm，且其高度更高；目标是桌面位置时不检查高度（<code>source/appendix/tabletop_sim.tex:16–18</code>）。</li>
<li>以失败类型而非只有总分做验收：失败后未重试、错误终止、重复子目标、LLM 无视反馈、低层控制失败分开计数。至少复制表 1 中的每条任务 50 回合，并补充随机种子和置信区间（PDF 第 6 页；<code>source/main.tex:259–284</code>）。</li>
</ol>
<p>成本风险主要不在提示本身，而在低层数据和真机工程。完整厨房复制需要的原系统包含由 10 台机器人在 11 个月内收集的 68,000 条遥操演示与 12,000 次自主成功，显然不是最小验证所需（<code>source/appendix/saycan.tex:6–12</code>）。</p>
<h2>9. 思考题</h2>
<ol>
<li>若保留 Success 但删除 Scene，哪种失败会下降，哪种仍无法发现？请用“黄色木块移动失败”和“已完成的青色木块被撞离”分别回答。</li>
<li>如何设计一个对照，区分“自然语言是特别有效的状态表示”与“任意正确的反馈通道都有效”？</li>
<li>若 Success 检测器的假阳性率与假阴性率相同，两者对长时程成功率的破坏会同样大吗？用式（1）的历史污染分析。</li>
<li>仿真的 Object+Scene 同时加入了思维链总结。什么额外消融能区分“Scene 反馈有用”与“思维链格式有用”？</li>
<li>如果把每步反馈延迟两步才追加，哪些任务最先失效？这个实验检验的是 LLM 能力还是闭环时序？</li>
</ol>
<h2>10. 证据定位</h2>
<ul>
<li>问题、闭环机制与反馈类型：PDF 第 1–4 页；<code>source/introduction-arxiv.tex:2–27</code>；<code>source/main.tex:177–219</code>。</li>
<li>三环境实验与精确表格：PDF 第 5–7 页；<code>source/main.tex:247–387</code>。</li>
<li>定性涌现能力与不一致性声明：PDF 第 8–9 页；<code>source/main.tex:390–445</code>。</li>
<li>作者明示局限：PDF 第 9 页；<code>source/main.tex:451–465</code>。</li>
<li>系统差异、数据规模、检测器与完整提示：PDF 第 15–25 页；<code>source/appendix/appendix.tex:1–134</code>；<code>source/appendix/tabletop_sim.tex:1–21</code>；<code>source/appendix/tabletop_real.tex:1–52</code>；<code>source/appendix/saycan.tex:1–91</code>。</li>
<li>正式条目与项目页：<a href="https://proceedings.mlr.press/v205/huang23c.html">Proceedings of Machine Learning Research</a>；<a href="https://arxiv.org/abs/2207.05608">arXiv</a>；<a href="https://inner-monologue.github.io/">project website</a>。</li>
</ul>
]]></content:encoded>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>embodied</category>
  <category>feedback</category>
</item>
<item>
  <title>《Code as Policies》中文精读</title>
  <link>https://keepkeen.github.io/blog/agent-paper-05-code-as-policies/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-05-code-as-policies/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>让 LLM 递归生成调用感知与控制 API 的程序，把语言规划落实为可执行机器人策略。</description>
  <content:encoded><![CDATA[<blockquote>
<p><strong>公开入口：</strong> <a href="https://arxiv.org/abs/2209.07753">arXiv</a> · <a href="https://arxiv.org/pdf/2209.07753v4">PDF</a> · <a href="https://export.arxiv.org/e-print/2209.07753">TeX 源码包</a> · <a href="https://github.com/google-research/google-research/tree/master/code_as_policies">代码</a> · <a href="https://code-as-policies.github.io/">项目页</a></p>
<p>文中的 <code>source/...:Lx–Ly</code> 对应解压后的 arXiv TeX 源码坐标；博客不镜像原论文文件。</p>
</blockquote>
<blockquote>
<p>论文信息：Jacky Liang 等；首次公开于 2022-09-16；ICRA 2023；<a href="https://arxiv.org/abs/2209.07753">arXiv:2209.07753</a>；<a href="https://code-as-policies.github.io/">项目页</a>；<a href="https://github.com/google-research/google-research/tree/master/code_as_policies">代码</a>。</p>
<p>证据版本：本地 16 页 PDF，SHA-256 <code>e36857fa13746da031444ec59549e61204ca92d599b1d048ac1c55aaf1f6d0a3</code>；arXiv TeX 源码可用。</p>
<p>阅读提示：下文用“<strong>论文事实</strong>”“<strong>跨论文背景</strong>”“<strong>我们的判断</strong>”区分原文、研究脉络与解释性推断。PDF 页码按文件页序。</p>
</blockquote>
<h2>一句话结论</h2>
<p><strong>论文事实。</strong> Code as Policies（CaP）把代码语言模型从“给机器人列步骤”推进到“给机器人写可执行策略”：模型生成 Python，程序读取感知 API、用算术和 <code>if/while</code> 组织反馈，再参数化控制 API；未定义函数还能由另一个语言模型程序递归补齐。定量证据支持“代码比自然语言更适合精确空间计算”和“分层生成提高代码题通过率”，真实机器人实验则主要证明可行性与跨平台展示，不能证明开放世界可靠或安全（PDF pp. 1, 3–6；<code>source/includes/3_method.tex:3-37,253-297</code>）。</p>
<h2>1. 基本概念</h2>
<ul>
<li><strong>语言 grounding（落地）</strong>：把“左边”“那个碗”“快一点”连接到可观测量和可执行动作。这里不是让 LLM 直接看像素或发电机电流，而是让 <code>get_pos(&#39;red block&#39;)</code>、<code>detect_object(&#39;apple&#39;)</code> 等感知函数返回结构化结果，让 <code>set_velocity(...)</code>、<code>put_first_on_second(...)</code> 等控制函数接收参数（PDF pp. 1, 3–4；<code>3_method.tex:105-131,339-345</code>）。</li>
<li><strong>语言模型程序（LMP）</strong>：由语言模型生成、随后在系统上执行的程序。CaP 是其中面向机器人策略的一类：输入是语言指令，输出代码既可反应感知，又可调用控制原语（<code>3_method.tex:3-18</code>）。</li>
<li><strong>策略</strong>：从当前信息到动作的规则。动作序列只说“先抓再放”；策略代码还可以写“只要没看到苹果就继续走”，因此同一代码会随观测变化产生不同动作。</li>
<li><strong>第一方与第三方 API</strong>：第一方接口属于机器人栈，如检测、位姿和抓放；第三方库是 NumPy、Shapely 等通用计算工具，负责向量、插值和几何运算。语言含义最终受这些接口的名字、类型和能力边界约束（<code>3_method.tex:74-129</code>）。</li>
<li><strong>少样本提示</strong>：提示包含 Hints（可用 import/API、类型线索）和 Examples（自然语言注释—代码对）。论文除特别说明外使用 <code>code-davinci-002</code>、温度 0 的贪心解码（<code>3_method.tex:39-58</code>）。</li>
</ul>
<p>日常类比是：LLM 像临时写“值班手册”的程序员，API 像仪表和按钮，Python 像把条件、循环和计算写清的规章。类比的失效处是，真实程序一旦执行就有物理后果；自然语言合理、代码能运行，都不等于感知正确、动作安全或任务可行。</p>
<h2>2. 问题：旧方法在哪里失败</h2>
<h3>2.1 观察到的失败</h3>
<p><strong>论文事实。</strong> 经典语义解析难以覆盖未见指令；端到端语言到动作需要大量昂贵的真实机器人数据。同期 LLM 机器人系统通常只在固定技能集合上规划：它可以选择“抓取”“放置”，却难以把“看到橙子时再放”“往左一点”“更快”直接写进感知—动作反馈。每增加一种反馈模式或技能，数据采集和训练负担仍然存在（PDF pp. 1–2；<code>source/includes/1_intro.tex:6-15</code>）。</p>
<p>最小失败情境是“把可乐罐向右挪一点”。纯规划器可能给出“抓起—向右移动—放下”，但若技能库没有 <code>place_a_bit_right()</code>，第二步没有执行语义；“一点”也未变成坐标增量。CaP 则可读取当前位置、加上如 <code>[0, 0.1]</code> 的偏移，再调用已有移动/抓放接口（PDF p. 2）。</p>
<h3>2.2 机制解释</h3>
<p><strong>我们的判断。</strong> 症结不是规划步数不够，而是<strong>表示层断裂</strong>：自然语言规划输出离散技能名，精确计算、参数选择和条件反馈仍封装在固定技能内部。于是未见任务只要重组了同一批感知与动作，却改变了控制流或数值关系，系统仍需要一个新技能。CaP 的科学干预是只替换这一层——让代码成为语言与既有 API 之间的可执行中间表示。</p>
<h3>2.3 既有解法</h3>
<p><strong>跨论文背景（按本文归纳）。</strong> 语义解析把语言变成逻辑表示，依赖词典与任务语法；模仿学习或强化学习直接学语言条件策略，依赖训练分布和机器人数据；LLM 规划器重组预训练技能，依赖技能集合完备；Socratic Models、Inner Monologue 等把视觉或成功检测反馈写回文本，再规划下一步，但仍主要输出高层计划。它们改变的分别是解析、策略学习、技能选择或再规划环节。CaP 改的是中间表示，让循环、算术和 API 调用本身由模型生成（PDF p. 2）。</p>
<h2>3. 核心机制：本文怎样解决</h2>
<p><img src="./assets/llm-agent-paper-reading/agent-paper-05-code-as-policies-diagram-1.svg" alt="CaP 机制：语言指令经过代码生成与递归函数补全，策略通过感知和控制 API 形成环境反馈闭环"></p>
<p><strong>图 1｜原创机制图。</strong> 上排是一次性的生成链：指令、Hints 和 Examples 提示代码模型；输出经有限静态过滤，并在抽象语法树中查找未定义函数，递归补全后交给 Python。下排是运行时闭环：策略从感知 API 取名称、坐标或框，经条件与计算调用控制 API；环境改变后，新观测返回仍在运行的 <code>while/if</code>。实线表示生成/动作调用，虚线表示反馈。图中明确了结论边界：LLM 写的是接口编排代码，真实能力上限仍由感知和控制模块决定（依据 PDF pp. 3–4；<code>3_method.tex:35-37,273-297,339-345</code> 重画）。</p>
<h3>3.1 从提示到执行</h3>
<ol>
<li>提示先声明可用 API 和类型约定，再给少量“注释 → Python”例子。模型自回归地产生代码；会话可把过去的指令和输出追加进提示，使“撤销上一步”有文本上下文（<code>3_method.tex:17,39-53</code>）。</li>
<li>生成代码可调用 NumPy 做坐标计算，也可调用项目 API。论文执行器拒绝 import、以 <code>__</code> 开头的特殊变量以及 <code>exec/eval</code>，然后运行 <code>exec(code, globals, locals)</code>；允许 API 只放在 <code>globals</code>，返回值从 <code>locals</code> 取（<code>3_method.tex:35-37</code>）。</li>
<li>若 AST 中出现当前作用域没有的函数，专用函数生成 LMP 根据函数名/签名写定义；再扫描新函数体，深度优先重复，直到依赖闭合。比如先生成 <code>get_objs_bigger_than_area_th</code>，其中又调用未定义的 <code>get_obj_bbox_area</code>，后者最终用 <code>get_obj_bbox_xyxy</code> 算面积（<code>3_method.tex:253-297</code>）。这不是运行时递归调用，而是<strong>生成过程递归展开依赖</strong>。</li>
<li>执行时，循环体每轮重新读取感知，而不是只在生成前看一次世界。因此同一段代码可以是闭环策略。论文甚至展示了提示中没有 <code>while</code> 示例时，模型生成“红块仍在蓝碗左边就每次右移 5 cm”的循环（<code>3_method.tex:186-207</code>）。</li>
</ol>
<h3>3.2 最小贯穿例子：三轮预测</h3>
<p>设红块横坐标为 0.00 m，蓝碗为 0.12 m，控制原语能精确把红块移到目标点。生成策略的核心是：</p>
<pre><code class="language-python">while get_pos(&quot;red block&quot;)[0] &lt; get_pos(&quot;blue bowl&quot;)[0]:
    target = get_pos(&quot;red block&quot;) + [0.05, 0]
    put_first_on_second(&quot;red block&quot;, target)
</code></pre>
<p>第 1 轮观测 <code>0.00 &lt; 0.12</code>，目标为 0.05；第 2 轮重新观测 0.05，目标为 0.10；第 3 轮观测 0.10，目标为 0.15；第 4 次判断为假并停止。请先预测再核对：删掉循环末端隐含的重新感知会怎样？程序可能永远依据旧位置行动。这个玩具执行也暴露边界：步长不能整除距离时会越过蓝碗；论文例子保证“移到右侧”而非“精确对齐”（原程序见 <code>3_method.tex:200-207</code>）。</p>
<h3>3.3 可证伪预测</h3>
<p><strong>机制假设。</strong> 若提升来自“程序结构把复杂任务拆成可复用、可精确执行的计算”，则在<strong>同一模型、同一题目、相近提示预算</strong>下：（a）允许未定义函数并递归补全应尤其改善需要更长/更多逻辑层的 Productivity 题；（b）代码执行应在多步数值空间题上胜过直接自然语言和 CoT。论文结果方向与两项预测一致（PDF pp. 5, 10–11）。</p>
<p>反证条件也很清楚：若层次化只在换模型或增加示例时改善，不能归因于递归分解；若代码在不需数值计算的同难度题上同幅领先，优势可能来自提示格式而非执行语义；若感知噪声下闭环不优于一次性计划，则“反馈 grounding”机制未获支持。论文没有完成这些全部控制，因此现有证据是支持而非定论。</p>
<h2>4. 关键公式与程序语义</h2>
<p>论文没有训练目标或新控制方程；关键贡献是程序语义。下面是<strong>我们的形式化重建，不是论文原公式</strong>：</p>
<p>其中 $u$ 是新指令，$H$ 是 API/类型 hints，$E$ 是少样本例子，$c$ 是代码；$G$ 是只含允许 API 的全局作用域，$L$ 是局部变量表，$\tau$ 是动作调用轨迹。大白话说：模型只负责选代码字符串；Python 解释器和 API 决定它在世界中的含义。温度 0 让相同上下文通常走同一贪心输出，但不提供正确性保证（论文事实依据 <code>3_method.tex:35-37,41-58</code>）。</p>
<p>闭环可写成：</p>
<p>其中 $s_t$ 是真实状态，$P$ 是感知 API，$o_t$ 是结构化观测，$\pi_c$ 是代码给出的条件/计算，$F$ 是机器人与环境动力学。逐步看，先观测，再由代码选动作，环境转移，循环回到新观测。玩具例中 $o_t=x_t$，$\pi_c$ 在 $x_t&lt;0.12$ 时给 $x_t+0.05$，否则停止。边界检查：若 $P$ 漏检，正确代码也会错；若循环无终止条件，动作轨迹可无限；若 $G$ 不暴露控制 API，代码最多算数而不能具身执行。</p>
<p>层次补全可记作 $U_k=\text{Undefined}(\text{AST}(c_k),G)$：取 $U_k$ 中一个函数生成定义并并入 $c_{k+1}$，深度优先重复至 $U_k=\varnothing$。空集表示名称依赖闭合，不表示逻辑正确或物理安全（<code>3_method.tex:273-297</code>）。</p>
<h2>5. 实验：每组证据回答什么</h2>
<table>
<thead>
<tr>
<th>证据</th>
<th>受控比较与范围</th>
<th>关键结果</th>
<th>能支持什么 / 不能支持什么</th>
</tr>
</thead>
<tbody><tr>
<td>RoboCodeGen</td>
<td>37 个机器人代码题；4 个 LLM；Flat vs Hierarchical；单元测试通过率</td>
<td>GPT-3 6.7B：3→5；175B：68→84；Codex cushman：54→57；davinci：81→95（%）</td>
<td>各模型均提高；但小模型增益小，分层不是无条件有效（PDF p. 5；<code>4_exps.tex:14-50</code>）</td>
</tr>
<tr>
<td>HumanEval</td>
<td>同一 <code>code-davinci-002</code>；平铺 vs 分层；164 题</td>
<td>Greedy 45.7→53.0，P@1 34.9→39.8，P@10 75.1→80.6，P@100 90.9→95.7（%）</td>
<td>支持分层生成对通用代码也有用；模型版本和提示并非所有行完全等同，不能直接宣称普遍 SOTA（PDF pp. 5, 10；<code>4_exps.tex:53-78</code>）</td>
</tr>
<tr>
<td>代码 vs 自然语言</td>
<td>28 道物体选择、23 道坐标选择；坐标容差 1 cm</td>
<td>总体 Vanilla 35、CoT 58、LMP 98；坐标选择 30、48、100（%）</td>
<td>支持可执行算术/库调用对精确几何有利；题量小且由作者新建（PDF p. 10；<code>exps_language_vs_code.tex:3-35</code>）</td>
</tr>
<tr>
<td>模拟桌面操作</td>
<td>8 个长程任务 + 6 个空间几何任务；每任务 50 次；CLIPort 用 3 万示范，CaP 每任务一个提示样例</td>
<td>未见属性+未见指令：长程 0/64/80（CLIPort/NL/CaP）；几何 0.01/N/A/62（%）</td>
<td>支持未见组合上的优势；训练资源和表示不同，不是纯粹同预算比较（PDF p. 6；<code>4_exps.tex:104-161</code>）</td>
</tr>
<tr>
<td>真实机器人</td>
<td>UR5e 绘图、UR5e 吸盘桌面操作、移动底盘+7DoF 手臂厨房任务</td>
<td>展示未见语言指令的成功案例，无系统成功率</td>
<td>支持跨 embodiment 可部署性，不支持可靠率或安全率（PDF pp. 5–6；<code>4_exps.tex:80-103,164-174</code>）</td>
</tr>
</tbody></table>
<p>RoboCodeGen 的机制定位尤其重要：论文按 Systematicity、Productivity、Substitutivity、Localism、Overgeneralization 分析；层次生成对 Productivity 帮助最大，但改善主要出现在两个 davinci 模型，cushman 某些类型反而下降。这符合“底层代码能力先过阈值，分解才有用”，也反对“递归一定更好”的强说法（PDF p. 11；<code>4_exps.tex:48-51</code>）。</p>
<p>模拟表中，已见属性/指令的空间几何任务上 CLIPort 为 97.33%，高于 CaP 的 89.30%；因此论文并非证明 CaP 全面替代监督策略。优势集中在未见属性或未见指令：例如长程任务从 CLIPort 的 36.80/0.00 提升到 CaP 的 97.60/80.00。自然语言规划器在几何任务标为 N/A，说明其动作表示本身不能给精确坐标，而非一次普通的准确率落败（PDF p. 6；<code>4_exps.tex:141-161</code>）。</p>
<h2>6. 优点</h2>
<p><strong>思想。</strong> 干预很小而接口清楚：冻结 LLM，不重训机器人策略，只把代码置于语言与模块化机器人栈之间。代码同时承载离散逻辑、数值计算和反馈，比纯文本计划表达力更完整。</p>
<p><strong>实验。</strong> 作者没有只展示机器人视频，还用代码单测、语言/代码对照和 seen/unseen 切分分别检查分层、数值推理和组合泛化；负面项也可见，如小模型层次化收益弱、已见几何任务不及 CLIPort。</p>
<p><strong>工程工件。</strong> 生成代码可读、可改单元，API 作用域显式；AST 递归补全能把粗略草图转成多层函数，且提示、输出、Colab 和代码公开。模块化感知或控制升级可直接传递给上层策略（<code>3_method.tex:295-348</code>）。</p>
<h2>7. 局限</h2>
<p><strong>论文明确承认。</strong> 泛化只发生在“解释指令—处理感知输出—参数化低维控制原语”这一层；能力受感知描述范围和控制原语限制。提示可容纳的命名参数有限；比示例长很多、复杂很多或抽象层不同的命令容易失败；系统假设指令可行，执行前不能判断回答正确（PDF p. 6；<code>source/includes/5_disc.tex:3-18</code>）。</p>
<p><strong>我们的判断。</strong> 静态过滤仅禁 import、<code>__</code>、<code>exec/eval</code>，不是完整沙箱：死循环、超大计算、合法但危险的 API 参数和错误动作仍可能通过。函数名带来的类型推断既是优势也是隐式契约；<code>get_bbox_xyxy</code> 命名一变，递归生成可能静默误解。真实机器人部分缺少系统失败统计，且模拟比较中 CLIPort 的 3 万示范与 CaP 的预训练知识、提示样例不可按“数据更少”直接等价比较。最后，代码可读不等于可验证；运行前仍需类型、终止性、碰撞和权限检查。</p>
<h2>8. 复现路线</h2>
<p>最小复现不必先上真实机器人：</p>
<ol>
<li>先尝试固定论文的 <code>code-davinci-002</code>；若原接口不可用，必须记录替代模型、版本、温度 0 和完整提示，不要把模型迁移后的差异算作严格复现结果。</li>
<li>实现两个无硬件 API：<code>get_pos(name)</code> 从二维字典读取，<code>put_first_on_second(name, target)</code> 更新字典。复刻上面的 5 cm 循环，核对动作轨迹 <code>[0.05, 0.10, 0.15]</code> 与终止条件。</li>
<li>再实现 AST 未定义名称扫描和函数生成器；先用固定生成输出验证深度优先闭合，再接 LLM。核对“依赖闭合”和“单测通过”两个指标，不能只看代码能解析。</li>
<li>从附录的 28+23 空间题做 Vanilla、CoT、Code 三条件对照；坐标题沿用 1 cm 容差。主要核对总体 35/58/98 与坐标 30/48/100 的方向，而不是期待替代模型逐点相同。</li>
<li>上硬件前加入超时、速度/工作空间上限、只读感知权限、动作 dry-run 与人工急停。这些是安全复现条件，不应混入论文方法后声称提升了 CaP。</li>
</ol>
<p>成本风险主要不是训练，而是模型 API 版本漂移、提示敏感性、开放词汇检测误差和机器人试错。论文也强调提示必须无 bug、变量/函数命名应保持类型一致，明确 import 与 <code>get_/set_</code> 约定会提高可靠性（PDF p. 9；<code>source/includes/apps/prompt_engineering.tex:3-28</code>）。</p>
<h2>9. 思考题</h2>
<ol>
<li>若把 <code>while</code> 改成生成前一次性检测再展开固定动作序列，什么扰动实验最能区分“反馈策略”与“更长计划”？</li>
<li>层次化 HumanEval 的提升来自函数分解，还是额外提示？怎样设计等 token、等示例的四格消融？</li>
<li>若感知 API 返回带置信度的分布而非单一坐标，现有 Python 策略会在哪一行失去语义？应修改 API 契约还是生成提示？</li>
<li>为什么 AST 中未定义函数集合为空仍不能证明程序正确？至少写出一个终止性反例和一个物理安全反例。</li>
<li>CaP 在已见空间几何任务低于 CLIPort，却在未见任务领先。什么新切分能区分“组合泛化”与“LLM 预训练记忆/题型偏好”？</li>
</ol>
<h2>10. 证据定位</h2>
<ul>
<li>研究问题、固定技能规划的断层与主要贡献：PDF pp. 1–2；<code>source/includes/1_intro.tex:6-15,97-164</code>。</li>
<li>LMP 定义、执行作用域与安全过滤：PDF p. 3；<code>source/includes/3_method.tex:3-37</code>。</li>
<li>Hints、Examples、第三方/第一方 API：PDF pp. 3–4；<code>source/includes/3_method.tex:39-131</code>。</li>
<li>控制流、LMP 组合和递归函数生成：PDF pp. 4–5；<code>source/includes/3_method.tex:186-335</code>。</li>
<li>RoboCodeGen、HumanEval 与模拟桌面结果：PDF pp. 5–6；<code>source/includes/4_exps.tex:11-78,104-161</code>。</li>
<li>代码对自然语言空间推理：PDF p. 10；<code>source/includes/apps/exps_language_vs_code.tex:1-35</code>。</li>
<li>泛化类型与层次生成边界：PDF p. 11；<code>source/includes/apps/exps_robo_code_gen.tex:13-43</code>。</li>
<li>局限：PDF p. 6；<code>source/includes/5_disc.tex:1-18</code>。正式版本：<a href="https://doi.org/10.1109/ICRA48891.2023.10160591">IEEE ICRA 2023 DOI</a>。</li>
</ul>
]]></content:encoded>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>embodied</category>
  <category>code-generation</category>
</item>
<item>
  <title>《ReAct: Synergizing Reasoning and Acting in Language Models》中文精读</title>
  <link>https://keepkeen.github.io/blog/agent-paper-06-react/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-06-react/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>把自然语言推理轨迹与环境动作交替生成，形成后来最常见的 agent 控制循环。</description>
  <content:encoded><![CDATA[<blockquote>
<p><strong>公开入口：</strong> <a href="https://arxiv.org/abs/2210.03629">arXiv</a> · <a href="https://arxiv.org/pdf/2210.03629v3">PDF</a> · <a href="https://export.arxiv.org/e-print/2210.03629">TeX 源码包</a> · <a href="https://github.com/ysymyth/ReAct">代码</a> · <a href="https://react-lm.github.io/">项目页</a></p>
<p>文中的 <code>source/...:Lx–Ly</code> 对应解压后的 arXiv TeX 源码坐标；博客不镜像原论文文件。</p>
</blockquote>
<blockquote>
<p>论文信息：Shunyu Yao 等；首次公开于 2022-10-06；ICLR 2023；<a href="https://arxiv.org/abs/2210.03629">arXiv:2210.03629</a>；<a href="https://github.com/ysymyth/ReAct">代码</a>。</p>
<p>证据版本：上述 PDF 共 33 页，SHA-256 <code>f285b0971ae4a790e402fb93966bed3adde2cf0a04977d08b2b40d6ab0cace69</code>；TeX 源码可解析。</p>
<p>阅读提示：下文用“<strong>论文事实</strong>”“<strong>跨论文解释</strong>”“<strong>我们的判断</strong>”区分证据层级。PDF 页码指文件页码。</p>
</blockquote>
<h2>一句话结论</h2>
<p><strong>论文事实。</strong> ReAct 让同一个语言模型交替生成两类 token：一类是写给自己看的自然语言“思考”，另一类是交给环境执行的动作；环境返回的新观察又进入下一轮上下文。这个小改动使计划能被记录和修正，也让外部事实进入推理。在 PaLM-540B 少样本提示下，ReAct 单独使用在 FEVER 优于纯思维链，在 HotpotQA 略低于纯思维链；把两者按启发式组合才取得两项提示实验的最佳值。它在 ALFWorld 和 WebShop 上则明显优于只生成动作的受控基线（<code>source/iclr2023/text/intro.tex:20-25</code>；PDF pp.3, 5–8）。<strong>显式语言状态与真实环境反馈形成闭环，分别缓解长程控制和事实落地问题；闭环自身仍会循环、检索失败或受提示限制。</strong></p>
<h2>1. 基本概念</h2>
<p><strong>任务、观察、动作。</strong> agent 要完成一个目标。第 $t$ 步看到环境返回的观察 $o_t\in\mathcal O$，再从动作集合 $\mathcal A$ 选择 $a_t$。在问答中，动作可以是 <code>search[实体]</code>、<code>lookup[词]</code>、<code>finish[答案]</code>；在游戏中，动作是移动、拿取或使用物体（<code>source/iclr2023/text/experiments_language.tex:13-21</code>）。</p>
<p><strong>上下文与策略。</strong> 上下文 $c_t=(o_1,a_1,\ldots,o_t)$ 是到当前为止可见的轨迹；策略 $\pi(a_t\mid c_t)$ 表示据此生成下一动作的分布。这里的“策略”由冻结的 PaLM-540B 加少量人工轨迹提示实现，没有强化学习更新（<code>source/iclr2023/text/method.tex:11-12,20-23</code>）。</p>
<p><strong>思考与观察不是一回事。</strong> 思考（thought/reasoning trace）由模型生成，只写入文本历史，不触碰环境；观察由工具或环境返回，至少在接口意义上来自模型之外。前者可携带计划、工作记忆和常识，后者提供可核查的新状态。把二者混同，就看不出 ReAct 为什么可能同时获得控制力与事实性。</p>
<p>贯穿全文的最小任务是：<strong>“在厨房找到胡椒罐并放到柜台。”</strong> 初始观察显示水槽为空。只生成动作的模型可能重复 <code>take peppershaker from sink</code>；ReAct 可先写“水槽没有，下一步检查更可能存放调料的橱柜”，再执行 <code>go to cabinet 1</code>。类比是边走迷宫边念出路标和计划：自言自语帮助记路，真正碰到墙才更新地图。类比的边界在于，语言模型的“自言自语”可能凭空编造，且上下文长度远小于人的持续记忆。</p>
<h2>2. 问题：旧方法在哪里失败</h2>
<h3>2.1 观察到的失败</h3>
<p><strong>论文事实。</strong> 纯思维链（CoT）在封闭文本里连续推演，无法主动核查外部事实，早期幻觉会沿后续步骤传播。纯动作模型则要把长历史直接映射成下一个动作：它可能忽略“水槽中没有胡椒罐”这类否定观察，继续生成不存在的动作；复杂问答中也可能检索到若干片段却无法综合最终答案（<code>source/iclr2023/text/intro.tex:11-16</code>；<code>source/iclr2023/text/method.tex:11-13</code>）。</p>
<h3>2.2 机制解释</h3>
<p><strong>论文事实。</strong> 作者把失败归因于两个断点。推理没有外部接口，所以知识不能更新或落地；动作没有显式高层语言状态，所以难以分解目标、追踪子目标和处理例外。作者据此提出“reason to act”和“act to reason”的双向作用（<code>source/iclr2023/text/intro.tex:20-21</code>）。</p>
<p><strong>我们的判断。</strong> 这是一种可操作但未被完全隔离验证的机制解释。思考 token 同时增加了测试时计算量、改变提示格式并暴露更多预训练语言先验；实验主要比较完整轨迹与删去思考后的轨迹，不能把增益唯一归因于“工作记忆”。</p>
<h3>2.3 既有解法</h3>
<p><strong>跨论文解释。</strong> CoT 改变的是内部计算的可见形式，适合已有知识足够的多步推演；WebGPT 一类方法改变外部信息获取，但常需示范或训练；行动规划工作用语言先验提议动作，却未必保存抽象计划。ReAct 把二者放进同一自回归序列，让一个 token 接口同时承担控制与通信。论文自身将 CoT、Act-only 和 Inner Monologue 风格提示作为相邻比较（<code>source/iclr2023/text/experiments_language.tex:28-31</code>；<code>source/iclr2023/text/experiments_rl.tex:61-68</code>）。</p>
<h2>3. 核心机制：本文怎样解决</h2>
<p><img src="./assets/llm-agent-paper-reading/agent-paper-06-react-diagram-1.svg" alt="ReAct 推理—动作—观察闭环"></p>
<p><em>图 1（原创机制图）。冻结 LLM 读取任务与完整历史，在扩展动作空间中选择“思考”或“环境动作”。紫色虚线表示只追加到上下文的内部控制流；实线表示进入工具/环境并返回观察的数据流。图同时标出两个边界：内部思考会幻觉或循环，外部检索可能没有信息。图支持的结论是 ReAct 提供了反馈闭环，不保证每轮决策正确。</em></p>
<p><strong>论文事实。</strong> ReAct 把动作空间扩成 $\hat{\mathcal A}=\mathcal A\cup\mathcal L$。若 $\hat a_t\in\mathcal L$，它是思考，不产生环境观察，只把上下文更新为 $c_{t+1}=(c_t,\hat a_t)$；若选择真实动作，则环境执行并返回下一观察。问答任务严格交替“Thought–Action–Observation”；长程决策任务让模型在少数关键位置自行决定何时插入思考（<code>source/iclr2023/text/method.tex:16-23</code>）。</p>
<p>两种调度对应不同的时间尺度。知识问答通常每次检索后都要抽取新实体，再决定下一次检索，因此作者强制每个观察前后都有思考。ALFWorld 的一次子目标可能包含连续移动、拿取和放置；每个动作都写长思考会挤占上下文，所以作者只在分解目标、子目标完成或异常出现时插入思考。<strong>我们的判断。</strong> “稀疏”不是由独立门控器算出的概率，而是少样本轨迹示范出的生成模式；换一组示范就可能改变思考频率。它体现了 ReAct 的简洁，也把稳定性压力留给了提示设计。</p>
<h3>3.1 最小贯穿例子</h3>
<ol>
<li>观察：<code>sinkbasin 1 is empty</code>。读者先预测下一项。合理的思考是“原假设被否定，改查橱柜”，而不是再次拿取。</li>
<li>思考：<code>Need search likely storage: cabinet.</code> 它不改变厨房，只改变下一步可见历史。</li>
<li>动作：<code>go to cabinet 1</code>。环境返回 <code>peppershaker 1 is here</code>。</li>
<li>思考：<code>Target found; take it, then go to countertop.</code> 随后的动作可由子目标顺序约束。</li>
</ol>
<p>自解释问题：若删掉第 2 步，模型还看得到空水槽，但必须在一次隐式计算中同时恢复失败、生成替代位置并输出合法动作；若删掉第 3 步的真实观察，后续“已找到”只是模型猜测。</p>
<h3>3.2 可证伪预测</h3>
<p><strong>我们的判断。</strong> 若“语言状态改善长程控制”成立，在相同模型、相同示例、相同动作预算下，只删除思考应主要增加漏掉子目标和重复动作，而非随机地改善所有错误。论文在六组 ALFWorld 提示中观察到 ReAct 持续优于 Act-only，并定性报告 Act-only 难以分解目标、追踪状态，方向符合预测（<code>source/iclr2023/text/experiments_rl.tex:51-55</code>）。更严格的检验应固定生成 token 总量，并用盲标注统计循环、遗漏和非法动作；若差异消失，增益可能来自额外计算或提示长度。</p>
<p>若“环境反馈降低事实幻觉”成立，给 CoT 与 ReAct 同一组可检索问题并操控检索正确率时，准确检索应降低 ReAct 幻觉，而注入错误检索应系统性损害它。若正确检索仍不改善事实错误，应先查接口、解析和上下文拼接；实现无误后，机制假设才受挑战。</p>
<h2>4. 关键公式</h2>
<p>论文没有训练目标或参数更新公式，关键数学对象是控制过程。</p>
<h3>4.1 从历史到动作</h3>
<p><strong>大白话目的。</strong> $\pi(a_t\mid c_t)$ 把迄今经历压成下一动作分布。<strong>符号账本：</strong> $o_t$ 是观察，$a_t$ 是环境动作，$c_t$ 是有序历史，$\pi$ 是 LLM 条件分布（<code>source/iclr2023/text/method.tex:11</code>）。<strong>逐步展开：</strong> 第一步 $c_1=(o_1)$；执行 $a_1$ 得到 $o_2$；于是 $c_2=(o_1,a_1,o_2)$。该式是定义，不是假设各步独立。</p>
<p><strong>玩具计算。</strong> 假设在空水槽后，纯动作分布为：重复拿取 0.45、去橱柜 0.35、去冰箱 0.20，贪心会重复。加入思考“水槽为空，查橱柜”后，下一轮分布可变为 0.05、0.80、0.15。数字仅为理解例子，不是论文结果。<strong>边界检查：</strong> 若上下文窗口截掉空水槽观察，显式思考也可能建立在错误历史上；若策略本已确定正确动作，插入思考只增加成本。</p>
<h3>4.2 扩展动作空间与上下文递推</h3>
<p><strong>大白话目的。</strong> $\hat{\mathcal A}=\mathcal A\cup\mathcal L$ 允许模型先写中间状态再行动。思考分支满足 $c_{t+1}=(c_t,\hat a_t)$（<code>source/iclr2023/text/method.tex:16</code>）。<strong>逐步推导：</strong> 原策略只能从 $\mathcal A$ 选项；并入语言集合 $\mathcal L$ 后，生成一次思考相当于对状态追加可读摘要，再重新条件生成。这里没有证明它提升最优策略，只改变可表示的轨迹。</p>
<p><strong>玩具计算。</strong> 设 $\mathcal A={\text{去水槽},\text{去橱柜}}$，只取两个思考模板 $\mathcal L&#39;={\text{继续原计划},\text{改查橱柜}}$，则演示用有限空间有四项。选择“改查橱柜”后环境不变，但历史变长；下一次才选“去橱柜”。<strong>边界检查：</strong> $\mathcal L$ 实际近乎无限，少样本提示必须提供强语言先验；作者明确承认大动作空间所需示例可能超过上下文长度（<code>source/iclr2023/text/discussion.tex:1-2</code>）。</p>
<h2>5. 实验：每组证据回答什么</h2>
<table>
<thead>
<tr>
<th>实验</th>
<th>受控问题</th>
<th>数据与指标</th>
<th>关键结果</th>
<th>证据边界</th>
</tr>
</thead>
<tbody><tr>
<td>HotpotQA / FEVER</td>
<td>思考、动作及二者组合怎样影响知识推理？</td>
<td>question-only；HotpotQA EM、FEVER accuracy</td>
<td>ReAct 27.4/60.9；CoT 29.4/56.3；最佳组合 35.1/64.6</td>
<td>组合含人工启发式；远低于监督 SoTA 67.5/89.5</td>
</tr>
<tr>
<td>HotpotQA 人工审计</td>
<td>幻觉与失败模式是否改变？</td>
<td>四组各随机 50 条，共 200 条</td>
<td>正确答案中的假事实 ReAct 6%、CoT 14%；失败中 CoT 幻觉 56%，ReAct 检索无信息 23%</td>
<td>小样本人工分类，无不确定度</td>
</tr>
<tr>
<td>ALFWorld</td>
<td>稀疏思考是否改善长程控制？</td>
<td>134 个未见游戏，成功率</td>
<td>ReAct 最佳 71%，Act-only 最佳 45%，BUTLER 最佳 37%；IM-style 53%</td>
<td>报告 best-of-many，提示轨迹人工写</td>
</tr>
<tr>
<td>WebShop</td>
<td>推理是否改善噪声网页行动？</td>
<td>500 条测试指令；属性分数/SR</td>
<td>ReAct 66.6/40.0，Act-only 62.3/30.1，IL+RL 62.4/28.7，人类 82.1/59.6</td>
<td>与训练式基线计算预算不等</td>
</tr>
</tbody></table>
<p>表中精确数值来自 <code>source/iclr2023/table/reasoning.tex:9-20</code>、<code>source/iclr2023/table/human_study.tex:7-16</code>、<code>source/iclr2023/table/rl.tex:14-30,42-54</code>，对应 PDF pp.5–8。</p>
<p><strong>论文事实。</strong> 知识任务揭示互补性：ReAct 比 Act-only 好，但并未在 HotpotQA 单独胜过 CoT；作者用失败超步数或自一致性票数不足作为切换条件，组合才最佳（<code>source/iclr2023/text/experiments_language.tex:33-40,57-78</code>）。这说明论文证据支持“内部知识与外部信息互补”，不支持“ReAct 全面替代 CoT”。</p>
<p><strong>我们的判断。</strong> ALFWorld 是更直接的机制试验，因为 Act-only 从同一轨迹删去思考，六个提示排列也测试了提示敏感性。不过“最佳 ReAct 71%”与“最佳 Act 45%”都经过多次选择，不能当成单次运行期望。WebShop 的 10 个百分点成功率增益有实际含义，但人类仍高 19.6 点，搜索改写和更广探索仍是明显缺口。</p>
<p>从错误类型看，干预没有消灭错误，而是改变错误来源。CoT 的主要危险是用内部知识补出不存在的事实；ReAct 把一部分风险移到接口：搜索词不佳、页面无关、结果截断后，后续推理会围绕错误或缺失观察继续展开。HotpotQA 人工审计中，ReAct 失败的 47% 被标为推理错误、23% 为搜索结果错误，CoT 失败的 56% 则是幻觉（<code>source/iclr2023/table/human_study.tex:9-15</code>）。这组数字更适合说明“失败结构变化”，不能证明所有场景的总体可信度提升，因为抽样只覆盖各方法各 50 个正确和 50 个错误轨迹。</p>
<h2>6. 优点</h2>
<p><strong>思想。</strong> 介入点很小：不增加专用规划器，只把可读内部状态与外部动作统一为序列生成。机制可跨问答、游戏和网页导航复用。</p>
<p><strong>实验。</strong> 论文同时给出 reasoning-only、acting-only、组合、IM-style 与人工错误分析，能看到互补性和失败转移，而非只看平均分。</p>
<p><strong>工程工件。</strong> 轨迹天然可检查、可编辑。作者展示人可以修改某一步思考纠正后续行为；这提供诊断接口，但“可读”不等于“忠实解释模型内部因果”。</p>
<p>另一个实用优点是动作协议可以按环境替换：Wikipedia 用三种文本命令，ALFWorld 与 WebShop 各用自身合法动作，核心循环不变。这种接口统一让研究者能把“规划错误”和“环境返回错误”分开记录。不过，合法动作语法、停止条件与最大步数仍需逐任务工程化，论文并未消除这些适配工作。</p>
<h2>7. 局限</h2>
<p><strong>论文明确承认。</strong> 大动作空间需要更多示范，可能超过 in-context learning 的输入长度；提示式行为支持有限，作者只在 HotpotQA 做了初步微调（<code>source/iclr2023/text/intro.tex:29-34</code>；<code>source/iclr2023/text/discussion.tex:1-2</code>）。ReAct 会重复前一步形成循环；无信息检索占其抽样失败的 23%（<code>source/iclr2023/text/experiments_language.tex:66-69</code>）。</p>
<p><strong>我们的判断。</strong> 第一，思考 token 的事实性没有保证，轨迹只能提高可诊断性。第二，论文依赖 PaLM-540B 和人工高质量示范，未证明小模型或自动示范同样稳定。第三，环境动作的权限、安全与成本不在实验范围内。第四，任务指标只测完成度，不能推出部署中的校准、鲁棒性或忠实解释。</p>
<h2>8. 复现路线</h2>
<p>最小复现应选 ALFWorld 的一个任务类型：固定基础模型、解码方式、两条示范与动作上限，构造完整 ReAct 提示及从同一轨迹删思考的 Act-only 提示；在未见任务上报告成功率、非法动作、重复环和子目标遗漏。至少轮换六种示范排列，分别报告均值和每次结果，不只报告最佳值。核对点是作者在 134 个评估游戏上使用六个提示排列（<code>source/iclr2023/text/experiments_rl.tex:13-16</code>）。成本主要来自长上下文推理；复现论文原数还需要不可公开复现的 PaLM-540B 行为，因此开放模型复现检验的是机制方向，不是绝对数值。</p>
<h2>9. 思考题</h2>
<ol>
<li>若保留思考但屏蔽环境观察，哪些错误会更像 CoT？</li>
<li>若给 Act-only 同样的 token/调用预算，ReAct 优势还剩多少？</li>
<li>哪个受控实验能区分“显式工作记忆”与“更多测试时计算”两种解释？</li>
<li>错误检索比无检索更危险吗？应怎样操控检索质量验证？</li>
<li>人能读懂一条思考轨迹，是否足以证明它忠实反映动作产生原因？</li>
</ol>
<h2>10. 证据定位</h2>
<ul>
<li>核心定义与两种调度：PDF p.4；<code>source/iclr2023/text/method.tex:11-29</code>。</li>
<li>知识任务设置、基线与结果：PDF pp.4–7；<code>source/iclr2023/text/experiments_language.tex:13-78</code>。</li>
<li>ALFWorld/WebShop 设置与结果：PDF pp.7–9；<code>source/iclr2023/text/experiments_rl.tex:9-68</code>。</li>
<li>关键表：<code>source/iclr2023/table/reasoning.tex:9-27</code>、<code>source/iclr2023/table/human_study.tex:7-16</code>、<code>source/iclr2023/table/rl.tex:14-54</code>。</li>
<li>正式入口：<a href="https://openreview.net/forum?id=WE_vluYUL-X">OpenReview</a>；代码：<a href="https://github.com/ysymyth/ReAct">GitHub</a>。</li>
</ul>
]]></content:encoded>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>reasoning</category>
  <category>planning</category>
</item>
<item>
  <title>《Toolformer: Language Models Can Teach Themselves to Use Tools》中文精读</title>
  <link>https://keepkeen.github.io/blog/agent-paper-07-toolformer/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-07-toolformer/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>用自监督筛选学习何时调用 API、传什么参数以及怎样吸收返回值，是工具学习的重要基础机制；完整自治性较弱。</description>
  <content:encoded><![CDATA[<blockquote>
<p><strong>公开入口：</strong> <a href="https://arxiv.org/abs/2302.04761">arXiv</a> · <a href="https://arxiv.org/pdf/2302.04761v1">PDF</a> · <a href="https://export.arxiv.org/e-print/2302.04761">TeX 源码包</a></p>
<p>文中的 <code>source/...:Lx–Ly</code> 对应解压后的 arXiv TeX 源码坐标；博客不镜像原论文文件。</p>
</blockquote>
<blockquote>
<p>论文信息：Timo Schick 等；首次公开于 2023-02-09；NeurIPS 2023；<a href="https://arxiv.org/abs/2302.04761">arXiv:2302.04761</a>；论文未给出官方代码地址。</p>
<p>证据版本：上述 PDF 共 17 页，SHA-256 <code>6d7483d94653008e40c2058a1c22441c92e3713dae278b6361e8efc447c99522</code>；单文件 TeX 源码可解析。</p>
<p>阅读提示：下文明确标记“<strong>论文事实</strong>”“<strong>跨论文解释</strong>”“<strong>我们的判断</strong>”。PDF 页码指文件页码。</p>
</blockquote>
<h2>一句话结论</h2>
<p><strong>论文事实。</strong> Toolformer 用少量 API 用法示范，让一个语言模型先在普通语料里提议“何时调用、调用什么、参数是什么”，实际执行候选调用，再保留那些能显著降低后续 token 预测损失的调用，最后在这些自标注文本上微调同一个模型。推理时模型生成调用标记，宿主暂停解码、执行工具、插入返回值，再让模型续写（<code>source/main.tex:142-159,177-197</code>；PDF pp.2–4）。基于 6.7B GPT-J 的模型在 LAMA、数学和时间任务上获得大幅零样本提升，但在多语言问答上不稳定，在开放问答上仍落后 175B GPT-3；论文系统也不能链式或交互式调用工具。真正应记住的是：<strong>Toolformer 把“工具返回是否有用”变成可自动计算的未来词损失差，从而制造工具使用训练数据；这是一种数据自举机制，不是完整的多步 agent 规划器。</strong></p>
<h2>1. 基本概念</h2>
<p><strong>API 调用。</strong> 工具输入与输出都被线性化成文本。例如调用 $c=(a_c,i_c)$ 含 API 名 $a_c$ 与输入 $i_c$，可写成 <code>&lt;API&gt;Calculator(400/1400)&lt;/API&gt;</code>；执行后再插入 <code>→0.29</code>。特殊 token 让工具交互能嵌在普通语言模型序列中（<code>source/main.tex:149-157</code>）。</p>
<p><strong>自监督与伪标签。</strong> 人只为每种工具写少量示范，不逐条标注大语料。模型自己提出候选调用；“调用结果是否让原文后续更容易预测”充当筛选信号。保留下来的调用位置、工具名、参数和返回值成为伪标签。</p>
<p><strong>困惑度。</strong> token 负对数似然越小，模型对原文越不意外；困惑度是其指数化汇总，越低越好。Toolformer 的筛选关注局部未来 token 的加权交叉熵，实验中的语言建模表报告整套数据上的困惑度。</p>
<p>贯穿例子是句子：“共有 1400 人，其中 400 人通过，即 ___%。”模型在百分比前提议 <code>Calculator(400/1400)</code>，工具返回 0.29。若带结果时更容易预测原文的“29%”，调用进入训练集。类比是学徒在草稿旁试贴便签：只有能让后文更容易续写的便签会被老师保留。类比的边界是，这位“老师”只看续写损失，不直接核验事实、任务奖励或工具费用。</p>
<h2>2. 问题：旧方法在哪里失败</h2>
<h3>2.1 观察到的失败</h3>
<p><strong>论文事实。</strong> 扩大语言模型能改善许多任务，却不能可靠解决精确算术、近期事实、低资源语言理解与时间感知；简单计算器、检索器、翻译器和日历反而各有所长（<code>source/main.tex:110-118</code>）。当时的工具使用方案常依赖大量人工标注，或只在已知工具与任务的特定下游场景中训练/提示（<code>source/main.tex:134-140</code>）。</p>
<h3>2.2 机制解释</h3>
<p><strong>论文事实。</strong> 作者的切入点是训练数据瓶颈：模型缺少通用序列中的“何时调用、传什么参数、怎样吸收返回值”示例。已有模型的 in-context learning 又足以生成候选标注，因此可先生成、再用自身损失筛选（<code>source/main.tex:142-144</code>）。</p>
<p><strong>我们的判断。</strong> 该机制假设“有用工具结果会降低原文未来词损失”。它对算术等可在后文复现结果的场景很自然，对开放任务却只是代理目标：一个流畅但错误或偶然相关的返回也可能降低损失。论文的定性表确有“Fast train success”无关检索仍得 0.92 正分的例外（<code>source/main.tex:509-535</code>）。</p>
<h3>2.3 既有解法</h3>
<p><strong>跨论文解释。</strong> 检索增强预训练通常在固定位置总是提供额外文本；人工监督工具学习直接给正确调用；任务专用提示预先告诉模型该用哪个工具。Toolformer 把选择权移到模型，通过通用语料中的自标注学习调用门控。与 ReAct 相比，Toolformer 的主要创新发生在<strong>训练数据生成</strong>，而 ReAct 主要在<strong>推理时把思考和环境动作闭环交替</strong>。Toolformer 论文把 TALM 视为最接近工作，但指出后者在下游微调场景研究计算器与搜索器（<code>source/main.tex:537-543</code>）。</p>
<h2>3. 核心机制：本文怎样解决</h2>
<p><img src="./assets/llm-agent-paper-reading/agent-paper-07-toolformer-diagram-1.svg" alt="Toolformer 训练与推理机制"></p>
<p><em>图 1（原创机制图）。上半部分是训练数据自举：普通文本经过候选采样、真实执行和反事实损失筛选，形成带 API 调用的 $\mathcal C^</em>$ 后微调。下半部分是推理：模型生成箭头标记时宿主暂停，插入工具返回，再继续生成。橙色虚线代表跨模型边界的工具执行。图支持的结论是模型学会了单次调用门控；它没有展示链式规划或交互式搜索能力。*</p>
<p><strong>论文事实。</strong> 完整管线有五步：① 用每个 API 的少量示范提示，在文本各位置估计生成 <code>&lt;API&gt;</code> 的概率；② 保留超过 $\tau_s$ 的最多 $k$ 个位置，并为每处采样最多 $m$ 个调用；③ 执行调用得到文本返回；④ 比较有结果与无结果的未来词损失，只保留收益至少 $\tau_f$ 的候选；⑤ 将多工具调用合并进原文得到 $\mathcal C^*$，用标准语言模型目标微调（<code>source/main.tex:159-195</code>）。</p>
<p>筛选后的数据量高度依赖工具。默认阈值 $\tau_f=1.0$ 时，Wikipedia Search 有 60,974 条、QA 有 18,526 条、Calendar 有 20,587 条，而 Calculator 与 Machine Translation 只有 994 和 1,034 条（<code>source/main.tex:247-264</code>）。<strong>我们的判断。</strong> 这说明“同一算法接五种工具”不等于五种工具以同样的数据效率被学会；语料中答案是否紧邻调用位置、工具输出形式以及预筛启发式都会决定伪标签产量。</p>
<p>推理时，模型照常生成，直到输出 <code>→</code>；宿主执行相应 API，把返回与结束标记插入上下文，模型继续生成（<code>source/main.tex:197</code>）。论文评测为提高调用倾向，只要 <code>&lt;API&gt;</code> 进入 top-10 就强制选择，并限制每个输入最多调用一次（<code>source/main.tex:281-286</code>）。</p>
<h3>3.1 最小贯穿例子</h3>
<ol>
<li>原文在“即 29%”之前有候选位置。模型看到计算器示范后，为 <code>&lt;API&gt;</code> 分配较高概率。</li>
<li>它采样 <code>Calculator(400/1400)</code>；参数若写成 <code>400/14</code> 也会被实际执行，但未必通过筛选。</li>
<li>对正确调用，比较“带 <code>→0.29</code>”与“无调用/只有调用无返回”两种前缀预测后文 <code>29%</code> 的损失。</li>
<li>若损失差过阈值，就把完整调用插回文本。微调后，模型在相似比例句中能自己生成调用。</li>
<li>推理时宿主接管箭头之后的片段，避免模型凭记忆伪造计算器返回。</li>
</ol>
<p>自解释问题：若省去“只有调用、没有返回”的对照，模型可能因为看到问题本身就更易预测后文，而把无价值工具结果误判为有效。</p>
<h3>3.2 可证伪预测</h3>
<p><strong>我们的判断。</strong> 若未来词损失差确实选择了因果上有用的调用，在固定候选集合中，按 $L_i^- - L_i^+$ 排序应提高人工正确性和下游收益；随机打乱返回值应同时降低损失收益与任务表现。若损失仍下降但答案准确率不变，说明代理目标捕获的是表面可预测性。</p>
<p>若自举学到的是通用调用门控，而非记住工具示范措辞，那么改写零样本任务提示时，调用率与收益应稳定。论文反而承认调用决定对输入措辞敏感（<code>source/main.tex:545-547</code>）。后续复现应报告提示改写下的调用率—准确率曲线；若变化很大，机制有效范围应限定为与自举分布相近的语言形式。</p>
<h2>4. 关键公式</h2>
<h3>4.1 调用的文本表示</h3>
<p>论文定义</p>
<p><strong>大白话目的。</strong> 把结构化调用和返回压成 LM 能读写的一段文本。<strong>符号账本：</strong> $c$ 是调用，$a_c$ 是工具名，$i_c$ 是文本参数，$r$ 是返回字符串，$e$ 是线性化函数（<code>source/main.tex:152-157</code>）。<strong>逐步构造：</strong> 选工具 <code>Calculator</code>，填参数 <code>400/1400</code>，执行得 <code>0.29</code>，加边界标记即 $e(c,r)$。<strong>边界检查：</strong> 输入/输出不能文本化就不满足论文接口；返回过长仍会占上下文；标记歧义会破坏解析。</p>
<h3>4.2 候选位置概率</h3>
<p><strong>大白话目的。</strong> 先找“此处值得问工具吗”。$P(\mathbf x)$ 是带少量示范的提示，$x_{1:i-1}$ 是位置前缀，$p_M$ 是基础 LM 概率；超过阈值的位置若多于 $k$，只留 top-$k$（<code>source/main.tex:161-168</code>）。<strong>玩具计算。</strong> 三个位置概率为 0.02、0.11、0.07，$\tau_s=0.05,k=2$，则保留后两处。<strong>边界检查。</strong> $\tau_s=1$ 几乎无候选；$\tau_s=0$ 候选爆炸，仍受 $k$ 截断。默认 $\tau_s=0.05,k=5,m=5$，计算器和翻译采用更宽采样（<code>source/main.tex:559-562</code>）。</p>
<h3>4.3 用未来词损失定义“有用”</h3>
<p>保留条件是 $L_i^- -L_i^+\ge\tau_f$（<code>source/main.tex:179-193</code>）。<strong>大白话目的。</strong> 返回值必须比“不调用”和“调用但没结果”中更有利的那个对照还好。取 <code>min</code> 提高了门槛，排除了仅由调用问题文本带来的收益。</p>
<p><strong>符号账本。</strong> $\mathbf z$ 是额外前缀，$\varepsilon$ 是空串，$x_j$ 是原文 token，$w_t$ 是距离权重。论文用 $\tilde w_t=\max(0,1-0.2t)$ 后归一化，因此只给调用后五个相对位置非零权重，近处更重（<code>source/main.tex:238-244</code>）。</p>
<p><strong>玩具计算。</strong> 假设无调用损失 2.0，只有调用问题为 1.8，含正确结果为 0.6，则 $L^-=1.8,L^+=0.6$，差 1.2；当 $\tau_f=1.0$ 时保留。若错误返回使损失 2.3，差为 -0.5，删除。<strong>边界检查。</strong> 当结果只对很远后文有用时，权重归零会漏掉；$\tau_f=0$ 会保留微弱或噪声调用；阈值过高则产生极少伪标签。论文数据印证这种敏感性：QA 调用样本从 $\tau_f=0.5$ 的 51,987 降到 2.0 的 5,135，计算器从 3,680 降到 138（<code>source/main.tex:247-264</code>）。</p>
<h2>5. 实验：每组证据回答什么</h2>
<table>
<thead>
<tr>
<th>实验</th>
<th>检验主张</th>
<th>指标/条件</th>
<th>关键数字</th>
<th>边界</th>
</tr>
</thead>
<tbody><tr>
<td>LAMA</td>
<td>QA 工具能补事实吗？</td>
<td>零样本；正确词在前 5 个生成词内</td>
<td>Toolformer 33.8/11.5/53.5；disabled 22.1/6.3/34.9</td>
<td>禁用 Wiki 搜索；98.1% 几乎总调 QA</td>
</tr>
<tr>
<td>三个数学集</td>
<td>计算器能补精确算术吗？</td>
<td>首个数字或等号后首数</td>
<td>40.4/29.4/44.0；disabled 14.8/6.3/15.0</td>
<td>97.9% 调计算器，主要测“会调用”</td>
</tr>
<tr>
<td>开放问答</td>
<td>简单 Wiki 检索够不够？</td>
<td>前 20 个词含答案</td>
<td>26.3/17.7/48.8，高于同尺寸基线但低于 GPT-3 的 29.0/22.6/65.9</td>
<td>QA 工具被禁，检索不能改写</td>
</tr>
<tr>
<td>MLQA</td>
<td>翻译是否跨语言稳定增益？</td>
<td>10 词内含答案</td>
<td>Toolformer 仅西/印/越优于 GPT-J，德/中/阿更差</td>
<td>CCNet 微调带分布漂移</td>
</tr>
<tr>
<td>时间任务</td>
<td>日历是否提供当前时间？</td>
<td>LAMA 式指标</td>
<td>TempLAMA 16.3，Dateset 27.3；disabled 12.7/5.9</td>
<td>TempLAMA 日历仅调用 0.2%，增益不能归因于日历</td>
</tr>
<tr>
<td>语言建模</td>
<td>插入调用是否伤害基础 LM？</td>
<td>WikiText/CCNet 困惑度</td>
<td>Toolformer disabled 10.3/10.5，与 GPT-J+CC 相同</td>
<td>未计算启用 API 时的困惑度</td>
</tr>
</tbody></table>
<p>精确数据见 <code>source/main.tex:288-314,316-340,343-367,370-405,408-455</code>，对应 PDF pp.6–9。</p>
<p><strong>论文事实。</strong> 同尺寸的 disabled 基线把“微调内容变化”与“推理时真实调用”部分拆开。数学任务中，启用工具把 disabled 的 14.8/6.3/15.0 提到 40.4/29.4/44.0，真实返回贡献很大（<code>source/main.tex:316-340</code>）。语言建模表则显示 Toolformer disabled 与 GPT-J+CC 在两套数据上同为 10.3/10.5，支持“关闭调用时未额外损害困惑度”，不能推出所有通用能力都不受损（<code>source/main.tex:437-455</code>）。</p>
<p><strong>我们的判断。</strong> 推理修改是重要混杂因素：top-$k=10$ 会在 <code>&lt;API&gt;</code> 并非最高概率时强制调用。T-REx 调用率从贪心的 40.3% 提到 98.1%，成绩从 47.8 到 53.5；WebQS 从 8.5%/19.3 提到 99.3%/26.3。高 $k$ 还丢失了“不调用时更准”的部分校准（<code>source/main.tex:476-498</code>）。因此“模型自主决定何时调用”在论文评测中包含外部阈值干预。</p>
<h2>6. 优点</h2>
<p><strong>思想。</strong> 损失差提供廉价、可扩展的伪标签，不要求每条语料有人设计调用。加入“有调用无结果”对照是关键，它让筛选更接近返回值的边际贡献。</p>
<p><strong>实验。</strong> 工具覆盖事实、算术、检索、翻译和时间；disabled 与 GPT-J+CC 基线能拆分真实工具执行和继续预训练的影响；论文也报告了失败任务、解码敏感性和模型规模门槛。工具收益约在 775M 参数附近才出现，说明工具接口本身也需要基础模型能力（<code>source/main.tex:458-471</code>）。</p>
<p><strong>工程工件。</strong> 文本化协议可接不同实现，推理时的暂停—执行—续写边界清楚。训练最多每 API 25k 样本，序列长 1024、批量 128、8 张 A100 40GB、最多 2000 步，为规模估计提供了锚点（<code>source/main.tex:683-687</code>）。</p>
<h2>7. 局限</h2>
<p><strong>论文明确承认。</strong> 各工具候选独立生成，训练集中没有链式调用；系统不能浏览多个搜索结果或改写查询；调用决定对措辞敏感；计算器处理百万文档后也只有几千个有用例子；门控不考虑工具的计算成本（<code>source/main.tex:545-547</code>）。</p>
<p><strong>我们的判断。</strong> 第一，损失降低不等于事实正确或任务成功，筛选可能放大训练语料的表面相关性。第二，数据生成依赖针对工具的启发式预筛，如“至少三个数字”和语言检测，这削弱“只需少量示范”的字面理解（<code>source/main.tex:238-244,564-572</code>）。第三，QA 数据生成使用 Atlas-large、推理用更大的 Atlas-xxl，外部工具升级也贡献结果（<code>source/main.tex:564-566</code>）。第四，每输入最多一次调用直接排除了多跳问题；当前结果不能外推到自治、多工具编排或有副作用的 API。</p>
<h2>8. 复现路线</h2>
<p>最小复现只接计算器。准备带数字的普通文本；用 3–5 条调用示范采样候选；执行四则运算；按相同近邻权重计算三种损失并以 $\tau_f=0.5/1.0/2.0$ 各自产生数据；固定训练步数微调同一基础模型。评测至少包含：disabled、启用工具、随机返回、GPT-J+同量原文继续训练；同时报告候选数、保留率、调用率、答案准确率和困惑度。先验证“高损失差对应高正确率”，再看下游分数。复现论文绝对值需要 CCNet 子集、Atlas、NLLB 和多卡训练；官方没有代码链接，数据选择细节和完整执行实现仍有不确定性。</p>
<h2>9. 思考题</h2>
<ol>
<li>为什么 $L_i^-$ 要取两个无结果条件的最小值，而不是平均值？</li>
<li>随机打乱正确工具返回后，损失差与下游准确率应怎样变化？</li>
<li>top-$k$ 强制调用提高分数时，能否仍称为模型自主门控？</li>
<li>哪个实验能区分“学会算术”与“学会稳定调用计算器”？</li>
<li>若把调用成本加入筛选式，应怎样改写保留条件，怎样测量收益—成本曲线？</li>
</ol>
<h2>10. 证据定位</h2>
<ul>
<li>核心管线与公式：PDF pp.2–4；<code>source/main.tex:146-197</code>。</li>
<li>工具定义与实现：PDF pp.4–5；<code>source/main.tex:199-229,559-572</code>。</li>
<li>数据规模、基线与零样本协议：PDF pp.5–6；<code>source/main.tex:235-286</code>。</li>
<li>下游结果与语言建模：PDF pp.6–9；<code>source/main.tex:288-455</code>。</li>
<li>解码分析、数据质量与限制：PDF pp.9–11；<code>source/main.tex:473-547</code>。</li>
<li>正式入口：<a href="https://proceedings.neurips.cc/paper_files/paper/2023/hash/d842425e4bf79ba039352da0f658a906-Abstract-Conference.html">NeurIPS Proceedings</a>。</li>
</ul>
]]></content:encoded>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>tool-use</category>
  <category>self-supervision</category>
</item>
<item>
  <title>Reflexion 精读：不改权重，把失败写成下次能用的经验</title>
  <link>https://keepkeen.github.io/blog/agent-paper-08-reflexion/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-08-reflexion/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>把任务反馈概括成语言反思并存入情节记忆，不更新模型权重也能影响后续试次。</description>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>reflection</category>
  <category>memory</category>
</item>
<item>
  <title>《CAMEL: Communicative Agents for &quot;Mind&quot; Exploration of Large Language Model Society》中文精读</title>
  <link>https://keepkeen.github.io/blog/agent-paper-09-camel/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-09-camel/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>用角色扮演与 inception prompting 研究两个语言智能体的自主合作，是早期多智能体代表。</description>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>multi-agent</category>
  <category>role-playing</category>
</item>
<item>
  <title>《Generative Agents: Interactive Simulacra of Human Behavior》中文精读</title>
  <link>https://keepkeen.github.io/blog/agent-paper-10-generative-agents/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-10-generative-agents/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>以记忆流、检索、反思和规划构成完整架构，并在 25 个角色的社会模拟中做组件消融。</description>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>memory</category>
  <category>reflection</category>
</item>
<item>
  <title>Voyager 精读：让 Minecraft agent 自己选课、练技能、存代码</title>
  <link>https://keepkeen.github.io/blog/agent-paper-11-voyager/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-11-voyager/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>把自动课程、可执行技能库和环境反馈迭代组合成开放式 Minecraft 终身学习 agent。</description>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>embodied</category>
  <category>skill-library</category>
</item>
<item>
  <title>《WebArena：用于构建自主智能体的真实网页环境》中文精读</title>
  <link>https://keepkeen.github.io/blog/agent-paper-12-webarena/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-12-webarena/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>提供可复现的全功能网站与执行式功能正确性评测，成为网页 agent 的关键现实环境。</description>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>web</category>
  <category>environment</category>
</item>
<item>
  <title>《AgentBench：将大语言模型作为智能体进行评估》中文精读</title>
  <link>https://keepkeen.github.io/blog/agent-paper-13-agentbench/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-13-agentbench/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>在八类交互环境中统一比较 LLM-as-agent，并定位长程推理、决策和指令遵循失败。</description>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>benchmark</category>
  <category>generalist</category>
</item>
<item>
  <title>《OSWorld：在真实计算机环境中评测开放式多模态智能体》中文精读</title>
  <link>https://keepkeen.github.io/blog/agent-paper-14-osworld/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-14-osworld/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>在真实桌面操作系统和应用中执行开放任务，用脚本和状态检查揭示当时人机巨大差距。</description>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>computer-use</category>
  <category>multimodal</category>
</item>
<item>
  <title>《SWE-agent：Agent–Computer Interface 推动自动化软件工程》中文精读</title>
  <link>https://keepkeen.github.io/blog/agent-paper-15-swe-agent/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-15-swe-agent/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>把 Agent–Computer Interface 作为可控研究变量，证明接口设计会显著改变软件修复能力。</description>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>software-engineering</category>
  <category>interface</category>
</item>
<item>
  <title>τ-bench 精读：不只问 agent “会不会做”，还问“每次都能做对吗”</title>
  <link>https://keepkeen.github.io/blog/agent-paper-16-tau-bench/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-16-tau-bench/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>同时模拟用户、领域政策和数据库终态，并用 pass^k 衡量重复执行的可靠性。</description>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>tool-use</category>
  <category>user-interaction</category>
</item>
<item>
  <title>AgentDojo 精读：当工具返回也能对 agent 下命令</title>
  <link>https://keepkeen.github.io/blog/agent-paper-17-agentdojo/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-17-agentdojo/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>在动态工具环境中同时测正常效用与间接提示注入，给出可执行的 agent 安全比较。</description>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>security</category>
  <category>prompt-injection</category>
</item>
<item>
  <title>AppWorld 精读：让 agent 在可重置的数字世界里写代码办事</title>
  <link>https://keepkeen.github.io/blog/agent-paper-18-appworld/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-18-appworld/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>构造可控日常应用世界，并以状态单测同时检查目标完成和非预期副作用；获 ACL 最佳资源论文。</description>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>api</category>
  <category>interactive-coding</category>
</item>
<item>
  <title>《The AI Scientist：走完科研流水线，不等于证明了科学发现》中文精读</title>
  <link>https://keepkeen.github.io/blog/agent-paper-19-ai-scientist/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-19-ai-scientist/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>首次把选题、编码、实验、画图、写作和自动评审串成公开的端到端科研闭环；科学有效性边界必须严写。</description>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>science</category>
  <category>code-generation</category>
</item>
<item>
  <title>《Magentic-One：用双账本让专用代理在停滞时重规划》中文精读</title>
  <link>https://keepkeen.github.io/blog/agent-paper-20-magentic-one/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-20-magentic-one/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>由 Orchestrator 维护计划、进度和重规划，再调度网页、文件与 Python 专家，是通用多智能体系统代表。</description>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>multi-agent</category>
  <category>orchestration</category>
</item>
<item>
  <title>A-MEM 精读：让 agent 的记忆从“一堆相似片段”变成会链接、会改写的笔记网</title>
  <link>https://keepkeen.github.io/blog/agent-paper-21-a-mem/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-21-a-mem/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>让记忆条目自动建立索引、链接并随新信息演化，检验结构化长期记忆相对静态检索的增益。</description>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>memory</category>
  <category>retrieval</category>
</item>
<item>
  <title>《SWE-Lancer：前沿大模型能从真实自由职业软件工程中赚到 100 万美元吗？》中文精读</title>
  <link>https://keepkeen.github.io/blog/agent-paper-22-swe-lancer/</link>
  <guid isPermaLink="true">https://keepkeen.github.io/blog/agent-paper-22-swe-lancer/</guid>
  <pubDate>Sat, 29 Aug 2026 00:00:00 GMT</pubDate>
  <description>用 1,400 多个真实自由职业软件任务和实际报价检验 agent 的经济可用性，而非只测合成修复题。</description>
  <category>ai</category>
  <category>llm</category>
  <category>agent</category>
  <category>paper-reading</category>
  <category>software-engineering</category>
  <category>real-world</category>
</item>
</channel>
</rss>