LeetCode Hot100 · 18 大算法模板与决策术
从识别信号到 Python/ACM 模板、复杂度和常见坑,系统掌握 Hot100 的 18 个核心算法模式。
大模型算法、训练系统与工程实践的学习笔记。
Blog
完整索引。需要时用搜索,平时当目录读;专题会折叠成一组。
从 LeetCode Hot100 模板到 ACM 输入输出、组合题识别和大厂笔试进阶算法的完整训练资料。
从识别信号到 Python/ACM 模板、复杂度和常见坑,系统掌握 Hot100 的 18 个核心算法模式。
补齐两份算法模板中尚无独立代码的 27 道官方 Hot100 题,形成完整 100 题复习卡。
从 2026 年 7 月大模型论文中精选表示学习、推理、安全、理论与 Agent 训练方向的代表工作。
固定到 2026-08-29 可核查的源码与发布物,系统比较四种 Coding Agent,并以截至 2026-08-30 的公开证据整理国内大厂 Agent 面试指南。
基于 2026-08-29 的固定源码快照,交代版本、新鲜度、证据等级与阅读路线,并给出四种 Coding Agent 控制面的总判断。
沿 CLI、AgentSession、双层循环、provider、工具、会话树与扩展系统,解释 Pi 如何用薄核心换取高度可替换性。
沿 app-server、Session、turn、tool orchestrator、ThreadStore 与 Multi-Agent V2,解释 Codex 为何像一套本地 Agent 操作系统。
沿 Cordis profile、effect lifecycle、durable event surface 与插件装配,解释 DeepSeek Harness 的组合式运行时。
以经 source map 验证的 2.1.88 实现为主证据,并用 2.1.251 契约校准,拆解 query loop、权限、压缩、子代理与插件。
用统一成熟度口径比较 Pi、Codex、DeepSeek Harness 与 Claude Code 的循环、安全、会话、扩展、接口和多代理能力。
比较模型采样、steering、工具标准化、并发、错误编码与生命周期 hooks,解释四种控制流的实现取舍。
拆开 approval、sandbox、project trust、managed policy、hooks 与 MCP,比较四个 Coding Agent 的安全与扩展模型。
比较 prompt 组装、transcript 持久化、恢复与分叉、compaction,以及四种 subagent 控制面与权限模型。
比较 TUI、SDK、RPC、ACP、app-server、配置优先级、遥测和测试策略,并给出面向集成目标的选择依据。
基于公开一手面经、官方岗位与结构化旁证,梳理国内大厂 Agent 岗年度变化、公司画像、硬题答法、题单和 14 天准备路线。
按首次公开时间精读 32 篇核心论文,从行动与工具、反思与记忆、多智能体,到真实环境、可靠性、安全和自改进。
用机器人技能的可供性价值约束 LLM 的高层计划,使语言上合理的动作也必须在当前环境可执行。
早期清楚提出由 LLM 路由外部知识源和离散推理模块的模块化架构;概念影响强但实验证据较弱。
较早提供大规模、可交互、以目标完成度计分的真实风格网页购物环境,并暴露长程网页决策差距。
把成功检测、场景描述和人类反馈写回语言上下文,明确展示闭环反馈如何修正具身计划。
把自然语言推理轨迹与环境动作交替生成,形成后来最常见的 agent 控制循环。
用自监督筛选学习何时调用 API、传什么参数以及怎样吸收返回值,是工具学习的重要基础机制;完整自治性较弱。
用角色扮演与 inception prompting 研究两个语言智能体的自主合作,是早期多智能体代表。
以记忆流、检索、反思和规划构成完整架构,并在 25 个角色的社会模拟中做组件消融。
把自动课程、可执行技能库和环境反馈迭代组合成开放式 Minecraft 终身学习 agent。
提供可复现的全功能网站与执行式功能正确性评测,成为网页 agent 的关键现实环境。
在八类交互环境中统一比较 LLM-as-agent,并定位长程推理、决策和指令遵循失败。
在真实桌面操作系统和应用中执行开放任务,用脚本和状态检查揭示当时人机巨大差距。
把 Agent–Computer Interface 作为可控研究变量,证明接口设计会显著改变软件修复能力。
同时模拟用户、领域政策和数据库终态,并用 pass^k 衡量重复执行的可靠性。
在动态工具环境中同时测正常效用与间接提示注入,给出可执行的 agent 安全比较。
构造可控日常应用世界,并以状态单测同时检查目标完成和非预期副作用;获 ACL 最佳资源论文。
首次把选题、编码、实验、画图、写作和自动评审串成公开的端到端科研闭环;科学有效性边界必须严写。
由 Orchestrator 维护计划、进度和重规划,再调度网页、文件与 Python 专家,是通用多智能体系统代表。
让记忆条目自动建立索引、链接并随新信息演化,检验结构化长期记忆相对静态检索的增益。
用 1,400 多个真实自由职业软件任务和实际报价检验 agent 的经济可用性,而非只测合成修复题。
从七个框架的 1,600 多条轨迹归纳 14 类多智能体失败,把‘为何失败’变成可复核的分析对象。
要求从零复现 20 篇 AI 研究论文,并把结果拆成 8,316 个可评分要求,直接测科研复现能力。
用 1,266 个答案客观但需要长程、多站点搜索的问题,隔离浏览 agent 的持续检索能力。
让 agent 修改自身代码并以可执行基准选择后代,用开放式 archive 研究可审计的自改进。
把上下文作为可累积的 playbook,通过生成、反思和整理持续演化,直接针对 brevity bias 与 context collapse。
把安全评测从单轮注入推进到跨多步自适应攻击,检验局部防御在长程任务中的失效。
在统一环境跨搜索、编码、推理与工具使用研究时序/并行 test-time scaling,并定位上下文上限与验证缺口。
把有限上下文问题表述为决策相关信息密度最大化,并联合层级记忆、压缩和 SOP/代码演化。
把长期记忆扩展到多方对话中的说话者信念、群体互动和受众适配,并显示复杂记忆系统未必胜过简单检索。
移除预打包工具和干净输入假设,测探索新工具、未见组合、噪声与欠指定请求下的端到端执行。
51 篇重要强化学习论文的逐篇中文精读:从价值学习、策略梯度和世界模型,到 RLHF、RLVR、推理与智能体强化学习。
A3C 用多个异步 actor 降低样本相关性并稳定 actor-critic,奠定大规模 actor-learner 与后续 RL rollout 系统的基础。
把 Q(s,a) 分为状态价值与动作优势,在许多动作价值相近时共享学习,是 Rainbow、R2D2 等价值方法的关键构件。
GAE 用 λ 控制 policy-gradient 优势估计的偏差—方差权衡,成为 PPO 和主流 RLHF 实现的标准部件。
clipped surrogate 近似 trust region,并允许同一批 rollout 做多轮 minibatch 更新;后来成为经典 RLHF 的核心优化器。
从成对轨迹偏好学习奖励模型,再用 RL 优化策略,是现代 RLHF 最直接的算法原型。
学习完整回报分布而非只估期望;C51 成为 Rainbow、R2D2 等强 value-based agent 的关键构件。
最大熵目标同时优化回报与策略熵,兼顾探索、鲁棒性和 off-policy 样本效率。
TD3 用双 critic 取最小值、延迟 actor 更新和目标策略平滑抑制过估计,清楚展示 critic 错误如何污染策略。
解耦 actors 与 learner,并用 V-trace 修正 policy lag,是大规模异步 rollout/学习系统的重要先驱。
在随机潜空间学习动力学并用 MPC 规划,把高维像素控制转为紧凑潜空间规划,直接铺垫 Dreamer。
处理循环网络 replay 中的 hidden-state staleness、representational drift 与 burn-in,连接长时依赖和分布式经验回放。
用预测固定随机网络特征的误差构造 novelty bonus,把“没见过”变成可学习的内在奖励。
首次把预训练语言模型、成对文本偏好奖励、KL 约束和 PPO 结合到多个自然语言任务,是语言模型 RLHF 的直接起点。
在 learned world model 中想象轨迹并训练 actor/value,奠定现代 latent world-model RL。
只学习规划所需的 reward、value 与 policy,而不重建真实环境,展示 learned model + tree search 的跨域通用性。
惩罚数据分布外动作的高 Q 值并学习保守下界,直接处理 offline RL 的 extrapolation error。
清晰展示语言模型 + 成对偏好奖励模型 + RL 能在摘要任务上超过监督微调与参考摘要,是大模型 RLHF 里程碑。
把 offline RL 改写成 return-conditioned 自回归序列建模,直接连接 Transformer 与决策。
对整条轨迹建模并把 beam search 变成规划,展示生成模型与 model-based offline RL 的统一。
把 GPT-3 放入浏览器环境,用行为克隆、偏好奖励与 rejection sampling 优化带引用回答,是 tool-use + human feedback 的早期范式。
把 SFT→奖励模型→PPO 三阶段 RLHF 扩展到真实而广泛的指令分布,成为现代指令对齐的标准参照。
建立公开 HH-RLHF 数据与 helpfulness/harmlessness 多目标实验,系统展示在线迭代反馈、尺度效应和奖励过度优化。
Sparrow 将自然语言规则、规则条件奖励模型、偏好奖励和检索证据整合进多目标 RLHF。
形成“宪法原则→自我批评/修订→AI 偏好→奖励模型→RL”的完整 RLAIF 范式。
提供 RL4LMs 开源库、最终版七任务 GRUE 基准和 NLPO,是早期可复现语言策略优化基础设施。
用 KL 约束 RLHF 的最优策略—奖励闭式关系,把奖励模型 + PPO 化为单阶段偏好分类损失。
把整体序列偏好细化为句段级密集奖励和多个错误类型奖励,直接检验奖励粒度机制。
用长度归一化 log-prob 排序损失取代 PPO,只需 1–2 个模型,并揭示其 best-of-n 性质。
系统比较过程监督 PRM 与结果监督 ORM,并发布 PRM800K,奠定可验证推理的过程奖励建模。
在摘要、helpful 和 harmless dialogue 上直接控制比较 RLAIF 与 RLHF,并提出直接用 LLM 打分的 d-RLAIF。
提出无 critic、用组内奖励标准化估计 baseline 的 GRPO,并把可验证答案奖励用于数学推理,是 reasoning RL 的关键算法源头。
实证表明 LLM-RLHF 不必继承 PPO 的全部复杂部件;sequence-level REINFORCE/RLOO 更便宜且在论文设置中更强。
KTO 用 prospect theory 的参照点与损失厌恶从单个 desirable/undesirable 标签学习,不需要成对偏好。
把 SFT 与 odds-ratio 偏好惩罚合成单阶段、无 reference model 的目标。
用平均序列 log-prob 作隐式奖励并加入目标 margin,同时消除 reference model,成为强力 DPO 基线。
让同一 LLM 同时生成并充当 judge 产生偏好,再迭代 DPO,开启自奖励/自改进对齐路线。
把 chat、hard chat、safety 和可验证 reasoning 组成统一奖励模型基准,暴露拒答偏置与推理弱点。
展示无人工推理轨迹的 RL 可显著激发长链推理,并把 GRPO、RLVR 与 reasoning-model 蒸馏推向主流。
展示长上下文、多模态 RL 和 long-to-short 如何把推理 RL 扩展到视觉文本与长 CoT。
可完整复现的大规模 reasoning RL 系统;把 clip-higher、dynamic sampling、token-level loss 与过长样本处理拆成可验证干预。
纠正“RL 产生 aha moment”的轻率解释,检测 base-model/template 偏差与 GRPO 长度偏差,并提出 Dr.GRPO。
把 RLVR 扩展到 reasoning-search 交替轨迹,并用 retrieved-token masking 避免工具返回内容进入策略梯度。
系统揭示多轮 RL 的 Echo Trap、reward-variance cliff、梯度尖峰和 reasoning signal 衰减。
把 rule-based RL 从竞赛代码扩展到真实软件演化与 issue repair,并检验跨域推理迁移。
把 zero-RL 从无需推理轨迹推进到模型自行出题、求解并用代码执行器验证的 reinforced self-play。
建立面向 LLM 的在线、多轮、多智能体零和自博弈训练,并用 role-conditioned advantage estimation 稳定同一策略扮演双方。
指出 PPO/GRPO ratio clipping 在超大词表下的机制缺陷,并用直接 TV/KL divergence 约束提出 DPPO。
逐步移除 few-shot 工具示范,使工具调用从 prompt scaffold 转化为 RL 内化能力,避免 cold-start SFT。
把 Challenger、Planner、Solver、Critic 放入闭环共同演化,研究自生成课程的漂移与质量控制。
用 weighted IQL critic 回传稀疏终局奖励,再以 GAE 构造过程奖励,并将更新限制在混合数据分布支持内。
把 agentic RL 的瓶颈提升到在线学习系统:trajectory protocol、data proxy、evolution control plane,并给出 AReaL2.0 原型。
从可核查的 27 项保留清单出发,逐篇解释核心理论、实现、同期替代路线、优缺点与跨领域价值,并以三篇元学习代表作完成课程结构。
这份材料逐行实现 Transformer,把论文里分散的结构、掩码、训练日程和解码细节连接成一台能运行的机器。它本身没有提出 Transformer,却解释了“公式都看懂了,为什么代码仍容易写错”。
熵可以单调增加,结构复杂度却常先升后降:一杯牛奶刚倒入咖啡时有清晰边界,完全混匀后近似随机,最丰富的涡流出现在中间。文章尝试用算法信息论刻画这个直觉。
文章用字符级语言建模展示循环神经网络:只训练“给定过去字符,预测下一个字符”,模型就能生成近似莎士比亚、Linux 源码和 LaTeX 的局部结构,并在隐藏单元中形成可解释的引号、行首和代码区域状态。
这篇教程用图和逐项公式解释 LSTM:它把记忆状态设计成加法更新,并用遗忘、写入和输出三个门控制信息流,从而缓解普通 RNN 中反复非线性变换造成的长距离梯度消失。
论文给出一个简单规则:对深层 LSTM 的输入、层间和输出等非循环连接使用 dropout,保留时间方向的循环连接不受扰动。这样既能正则化大模型,又不在每一步反复破坏长期记忆。
论文把训练后的权重当作要发送给接收者的消息:模型拟合得更好会缩短残差编码,但精确、意外的权重需要更多比特。最小化两者之和,导出对权重分布而非单点权重的训练目标,是现代变分贝叶斯神经网络的早期原型。
普通 seq2seq 从固定词表生成符号;Pointer Network 把注意力分布直接当作输出分布,因此每一步输出的是“输入中的第几个元素”。输出类别数自然随输入长度变化。
AlexNet 把大规模标注数据、GPU 卷积、ReLU、数据增强、dropout 和足够容量组合起来,在 ImageNet 上把 top-5 竞赛错误率降到 15.3%,第二名为 26.2%。它证明当数据、计算和训练配方同时到位时,学习特征可以压倒手工视觉管线。
论文同时处理两个不同问题:输入是集合时,表示必须对排列不变;输出是集合时,同一答案有许多等价序列,训练必须选择或边缘化输出顺序。标题“顺序很重要”指优化会受线性化方式影响,即使任务语义不关心顺序。
GPipe 把连续网络层切到 K 个设备,再把一个 mini-batch 切成 M 个 micro-batch 依次穿过这些分区。设备处理不同微批次形成流水线;所有微批梯度累积后只做一次同步更新,避免异步权重陈旧。
ResNet 的决定性一步不是单纯加深网络,而是把一个层组写成 y = x + F(x)。恒等支路让信号和梯度拥有一条无参数的直达路径,残差支路只需学习相对输入的修正,于是“更深至少不应更差”从一个存在性论证变成了优化器更容易找到的参数化。
空洞卷积(dilated/atrous convolution)在卷积核采样点之间插入间隔,让感受野随层数指数扩大,同时保持特征图分辨率、参数量和每层采样点数。这解决了密集预测里“需要全局语义,却不能反复池化丢掉边界”的冲突。
MPNN 把一大批图神经网络归纳为两个阶段:节点沿边发送并聚合消息,反复更新局部状态;最后用对节点排列不敏感的 readout 得到整图预测。它既是具体分子性质模型,也是至今仍通用的 GNN 接口语言。
Transformer 去掉 encoder/decoder 中的循环和卷积,用多头自注意力在一层内连接任意位置,再用逐位置 MLP 变换内容。它将训练的关键顺序依赖从 O(n) 降为常数层级,使大规模并行训练和短路径长程依赖同时成为可能。
早期 seq2seq 把整条源句压进一个固定长度向量。Bahdanau attention 改为保存每个源位置的双向表示,并让 decoder 在生成每个目标词时,学习一组对齐权重、加权读取所需内容。对齐不再是外部流水线或离散隐变量,而是可端到端训练的软寻址。
原始 ResNet 的 shortcut 是恒等,但相加后仍经过 ReLU。本文推导:若 shortcut 和相加后的映射都为恒等,任意浅层到深层之间都有一条只含加法的前向/反向路径。将 BN、ReLU 移到卷积前的 full pre-activation block 更接近这一条件,也让 1001 层网络明显更易训练。
Relation Network(RN)枚举对象对,用同一个 gθ 计算每对关系,求和后由 fφ 回答问题:RN(O)=fφ(Σi,jgθ(oi,oj))。它把关系推理所需的参数共享、全对比较和顺序不变性直接放进架构,而不是指望普通 MLP/CNN 从数据中偶然学会。
强自回归 decoder 往往能绕过 VAE latent,造成 posterior collapse。VLAE 不只把这看成优化故障,而利用“信息偏好”:让局部 PixelCNN 负责可由邻域预测的纹理,迫使有限感受野之外的全局形状通过 z 传递;改变 decoder 可见的信息,就能控制 lossy representation 保存什么。
Relational Memory Core(RMC)把 RNN 的单一 hidden vector 改成固定数量的 memory slots;每个时间步先用多头 self-attention 让 slots 彼此交换信息、吸收新输入,再以 LSTM 式门控写回。它在不让历史缓存随时间增长的前提下,为跨时间关系推理加入显式归纳偏置。
热力学熵从低到高,但“有趣结构”在完全分层和完全混合时都低,似乎在中间最高。论文用粗粒化图像的压缩长度近似 apparent complexity,并以奶油扩散自动机实验这一“先升后降”。然而作者很快确认:原 interacting rule 也不会产生所声称的大中间复杂度,数值 bump 主要来自边界量化伪影。正确价值在问题、度量框架、负面定理和公开纠错,而不在那条已撤回的正面曲线。
NTM 把 controller 与外部 N×M memory matrix 相连。读写头不选一个离散地址,而产生对所有地址的软权重;读、擦除、添加、内容查找和地址移动全部可微,因此仅凭输入输出样例就能用梯度下降学出复制、关联检索和排序的近似算法。
Deep Speech 2 用 convolution + 深层双向/单向 RNN 直接把 spectrogram 映射为字符分布,以 CTC 边缘化未知帧—文本对齐,再用语言模型 beam search 解码。真正贡献还包括海量数据构建、RNN BatchNorm、SortaGrad、GPU CTC、分布式训练和低延迟部署,证明端到端 ASR 是系统工程而非删掉所有组件。
论文在约 10³–10⁹ 非 embedding 参数、22M–23B tokens 和跨多个数量级 compute 的训练中发现:语言模型 cross-entropy 对模型规模 N、数据 D、最优 compute C 近似幂律,并由此推导固定预算的 compute-efficient frontier。它把 scaling 从信念变成可实验估计,但具体指数不是自然常数,后来已被 Chinchilla 修正。
MDL 选择能让数据获得最短无歧义描述的模型。简单模型编码短但残差长,复杂模型残差短但自身或其模型类代价大;最短总码长在欠拟合和过拟合之间自动权衡。refined MDL 用 universal code/NML 取代随意的参数小数位编码,使原则成为可比较的统计方法。
论文把 intelligence 暂定为“agent 在广泛环境中实现目标的能力”,用按 Kolmogorov complexity 加权的所有可计算环境把它形式化;Solomonoff mixture 解决被动预测,AIXI 再加 sequential decision theory 选择动作。得到的是极强但不可计算的规范性上界,不是可直接运行的 AGI 配方。
一个有限对象的 Kolmogorov complexity 是输出它的最短程序长度;算法统计学再问,这些 bit 中多少是可复用的“模型结构”,多少只是模型内的随机索引。第 434 页附近的 two-part descriptions 正好把这一问题写成 model complexity + log model size,是 MDL、泛化和“规律与噪声”最严格的概念底座之一。
CS231n 不是单篇论文,而是一条“亲手写出并调通网络”的训练路径:数据划分、线性分类器、loss、解析/数值梯度、反向传播、初始化、正则、优化、卷积尺寸、经典架构、可视化、检测/分割、RNN 和工程瓶颈。它把书单中的许多局部突破装回一个能工作的完整流程。
这篇论文把 few-shot classification 设计成一个有外部记忆的序列任务:模型见到新样本后立即把“表示—临时标签”绑定写入记忆,再用内容寻址找回;它不靠许多步梯度更新,而靠一次 episode 内的快速状态变化完成学习。
Prototypical Networks 用 episodic training 学一个 embedding,在每个新任务中把某类 support embeddings 的均值当作 prototype,再按 query 到各 prototype 的距离分类。它没有内循环梯度,也没有复杂外部记忆,却以非常强的“每类形成单簇”归纳偏置得到稳定的 few-shot baseline。
Model-Agnostic Meta-Learning(MAML)不为任务手工设计记忆或度量,而是寻找一组初始化参数 theta:从这里出发,只用新任务的少量数据做一两步梯度下降,就能获得低的新任务损失。
从项目定位、架构控制流和数据管线,到算法、配置、扩展、调试、源码阅读与面试追问的系统指南。
一套从零建立 slime 心智模型、追踪源码、理解算法与系统取舍,并准备真实场景面试追问的完整学习路线。
从在线 RL 的系统难点出发,解释 slime 的定位、Ray、Megatron、SGLang 分工、设计取舍与能力边界。
沿 Ray placement、RolloutManager、训练 actors、权重同步和 checkpoint,追踪 slime 一轮训练的完整控制流。
精确比较 slime 的同步、N/N+1 流水和 fully-async rollout,理解吞吐、staleness、colocate 与恢复边界。
追踪 prompt、Sample、reward、loss mask、logprob、rollout ID、GBS、micro-batch 与 DP/CP packed sequence 的完整生命周期。
结合源码比较 GRPO、GSPO、CISPO、REINFORCE++ 与 PPO,并拆解 ratio、KL、critic、advantage 和训练指标。
学会阅读 slime 启动参数、计算 GPU placement、选择 TP/PP/DP/CP/EP,并比较 NCCL、full disk 与 delta disk 同步。
从 import-path hook 和 Sample 契约出发,设计搜索、工具、sandbox、代码 Agent、多 Agent、VLM 与 OPD 训练方案。
用 rollout-only、train-only、指标、checkpoint 和分层决策树定位 OOM、NaN、乱码、Ray pending、权重不同步与性能瓶颈。
字节、百度、阿里、腾讯混元、商汤等 2025–2026 公开面经真题逐题精讲:GRPO 家族、训推一致性、异步 RL 与 Agentic RL,每道题都落到 slime 源码与具体开关。
从 RLHF 基础、系统架构和训练链路,到分布式后端、排障、扩展、模型导出、大厂真题与 PR 实战的完整专题。
用一条完整数据流快速理解 verl 的核心价值、关键抽象,以及 PPO 与 GRPO 的差异。
从策略、奖励和优势函数出发,解释 PPO、GAE、GRPO、KL、训推不一致与生成训练协同。
拆解配置、控制流、资源编排、Worker、DataProto 和 TransferQueue 的职责边界。
沿 prompt、rollout、reward、advantage、参数更新和权重同步追踪端到端训练链路。
对照源码盘点全部 14 种 advantage estimator、12 种 policy loss、KL、长度偏置及常见算法组合。
比较共置与分离、FSDP2 与 Megatron、vLLM 与 SGLang,以及六种权重同步后端与异步正确性。
说明训练数据 schema、reward 管理、多轮 token mask、工具调用、VLM 和 LoRA。
从 Hydra 配置树、batch 约束和 trainer.v1 异步旋钮出发,给出数学、代码、Agent 与大模型训练方案。
梳理新增 estimator、reward、模型、rollout、AgentLoop、训练后端与自定义 sampler 的扩展入口。
辨析 V1、fully async、rollout correction、蒸馏、checkpoint 与确定性的真实边界(2026-08 基线)。
串联数据准备、dry-run、smoke test、正式训练、checkpoint、合并与离线验证。
字节、阿里、快手、腾讯、百度真题逐题精讲,加训推不一致、异步 RL、Agentic RL 三大热点专题。
从框架链路、bug 成因、修复取舍到验证纪律,拆解我提交给 verl 的两个正确性修复 PR。
面向无强化学习项目经验的系统课程:从 MDP、策略梯度和 GAE,到 PPO、DPO、GRPO、Agentic RL、训练排障、手写实验与 30 天冲刺。
从 2025—2026 公开岗位和面经出发,区分后训练、Reasoning RL、Agentic RL 与 RL 系统岗位,并给出零基础优先级。
用概率、期望、log-derivative trick、return、value 与 Bellman 方程建立大模型 RL 的共同语言。
系统理解 bootstrap、TD error、SARSA、Q-learning、探索与价值学习,再连接到 LLM 的 critic 和 advantage。
从 REINFORCE 推导到 baseline、Actor-Critic、GAE 和 importance sampling,为 PPO 打牢公式与数值直觉。
拆解 actor、critic、reference 与 reward model,分优势正负解释 PPO clip,覆盖 KL 的 k1/k2/k3 估计器、“KL 能否换交叉熵”与训练排障。
从 Bradley–Terry 到 DPO 推导,解释 beta、reference、长度偏置与训练退化,附拒绝采样与 IPO/KTO/ORPO/SimPO 家族取舍。
组内相对优势、结构性失败、DeepSeek R1 四阶段管线、MoE 训推不一致机制,以及 DAPO/GSPO/CISPO/OPD 六轴坐标系。
从多轮 MDP、轨迹 schema、loss mask、六种信用分配(含 GiGPO 锚点状态分组)到异步 rollout、环境设计和安全。
梳理 rollout 与 trainer 数据流、并行和显存、TRL/verl/slime/OpenRLHF/AReaL/ROLL 选型,以及八类高频故障诊断。
按 2025—2026 公开实录归纳:经典 RL、PPO/DPO/GRPO、R1 管线、MoE、Agentic RL、系统与 8 月前沿,配两轮追问与评分标准。
闭卷实现 return、GAE、PPO、DPO、GRPO,配数值题、自动测试和从 GridWorld 到小模型 RL 的项目设计。
每天安排 RL 主线、公式手写、项目、面经口述和两道 LeetCode,月底形成可展示的训练闭环。
Visual-RFT、DeepSeek-GRM、RLVR 边界与 ScaleRL,并系统讲解多奖励饱和、组梯度冲突、OPD 过滤和 Agent 信用分配。
汇总经典论文、2025—2026 新方法、官方框架、岗位页面和候选人面经,并说明证据等级与使用边界。
面向 2027 届秋招的大模型算法岗求职资料:公开面经证据账本、笔试作战手册、系统备战指南与 30 天执行计划。
更新至 2026-09-08:训练、后训练、Agent 排障与项目深挖;新增完整 ML 提交和长任务延迟回答。
更新至 2026-09-08:历史算法面经与 23 张知识缺口卡,附九月跨岗位样本入口和证据边界。
更新至 2026-09-08:京东 NumPy/JSON 逻辑回归、数字构造、双向模拟与已有 LeetCode/AI Coding 训练。
2026-09-08 按真实进度校准:D17/D11/D1,并附 9.08–9.14 力扣、手写、口述执行表。
JSON 契约、数值稳定、Viterbi、Attention、IRLS、搜索排序/NDCG、Apriori 与 MITM 的限时实现要点。
投递、笔试、面试和 offer 决策总控:正式批收口、新增 Agent 岗、训练分支与风险预案。
2027 届校招当前状态表:正式批新岗位、过期批次、官方入口、毕业区间、AI Coding 与下一动作。
更新至 2026-09-08:美团/vivo 招聘流程、京东与字节公开样本、冲突试卷及三篇 RL 阅读案例。
字节 Seed、阿里 Token Foundry、腾讯基础模型部、百度 BMC、美团 LongCat、可灵分拆与独角兽分层——组织调整全景、方向冷热表、薪资行情与选组方法论。
机筛与人筛机制、加分项权重排序、格式雷点、项目行情(朴素 RAG 为何不再加分)与 CV→大模型的关键词映射表。
更新至 2026-09-08:近期笔试场次、测评要求、NumPy/JSON 完整交付与 AI Coding 计时策略。
从数据、模型到系统,记录 Stanford CS336 作业的实现、实验与工程复盘。
从零实现 byte-level BPE、RoPE Transformer、AdamW、训练与生成管线,并记录 TinyStories 在 A100 上的真实数据准备和 smoke run。
从测量方法、混合精度和 activation checkpointing 开始,逐步推导并拆解 FlashAttention、三种 DDP、optimizer state sharding 与教学型 FSDP 的实现、测试证据和工程边界。
逐步拆解 CS336 Assignment 3:IsoFLOPs 最优点选择、log-log 幂律拟合、loss 外推、B200 墙钟时间换算、实验结果过滤以及合法训练配置生成。
从 WARC/WET 数据结构开始,逐步实现 HTML 提取、语言与质量过滤、PII masking、两级去重、GPT-2 tokenization、训练前检查与可复现实验报告。
从 rollout、reward、group advantage 到 GRPO/GSPO,再到 packed SFT 与 DPO:结合公式、张量形状、数值例子和 18 个独立测试完整拆解 Assignment 5。
一次实地复核:Codex 的自动压缩是模型问题还是 harness 问题?从本地会话轨迹、openai/codex 源码到 AGENTS.md 改造,给出可复现的诊断与可落地的方案。