Liuliming · Kindle 阅读版

Archive

全部文章

共 193 篇。按时间倒序排列。

2026

  1. 2026 年 7 月 arXiv 大模型论文精选与解析
  2. LeetCode Hot100 · 缺失 27 题完整补充
  3. 2025–2026 国内大厂 Agent 面经:从 RAG 到 Harness Engineering
  4. SayCan 精读:让机器人既“会说”,又“做得到”
  5. MRKL Systems:把大模型变成“会找工具的总调度”
  6. WebShop 精读:把“帮我买到合适的东西”变成可训练的 agent 问题
  7. 《Inner Monologue: Embodied Reasoning through Planning with Language Models》中文精读
  8. 《Code as Policies》中文精读
  9. 《ReAct: Synergizing Reasoning and Acting in Language Models》中文精读
  10. 《Toolformer: Language Models Can Teach Themselves to Use Tools》中文精读
  11. Reflexion 精读:不改权重,把失败写成下次能用的经验
  12. 《CAMEL: Communicative Agents for "Mind" Exploration of Large Language Model Society》中文精读
  13. 《Generative Agents: Interactive Simulacra of Human Behavior》中文精读
  14. Voyager 精读:让 Minecraft agent 自己选课、练技能、存代码
  15. 《WebArena:用于构建自主智能体的真实网页环境》中文精读
  16. 《AgentBench:将大语言模型作为智能体进行评估》中文精读
  17. 《OSWorld:在真实计算机环境中评测开放式多模态智能体》中文精读
  18. 《SWE-agent:Agent–Computer Interface 推动自动化软件工程》中文精读
  19. τ-bench 精读:不只问 agent “会不会做”,还问“每次都能做对吗”
  20. AgentDojo 精读:当工具返回也能对 agent 下命令
  21. AppWorld 精读:让 agent 在可重置的数字世界里写代码办事
  22. 《The AI Scientist:走完科研流水线,不等于证明了科学发现》中文精读
  23. 《Magentic-One:用双账本让专用代理在停滞时重规划》中文精读
  24. A-MEM 精读:让 agent 的记忆从“一堆相似片段”变成会链接、会改写的笔记网
  25. 《SWE-Lancer:前沿大模型能从真实自由职业软件工程中赚到 100 万美元吗?》中文精读
  26. 《为什么多智能体大语言模型系统会失败?》中文精读
  27. 《PaperBench: Evaluating AI’s Ability to Replicate AI Research》中文精读
  28. 《BrowseComp: A Simple Yet Challenging Benchmark for Browsing Agents》中文精读
  29. 《Darwin Gödel Machine:开放式演化的自改进智能体》中文精读
  30. 《Agentic Context Engineering:为自改进语言模型演化上下文》中文精读
  31. AgentLAB Security 精读:安全失守不是一句话,而是一条被逐步改写的轨迹
  32. General AgentBench 精读:工具更多之后,“算得更久”为何不一定做得更好
  33. GenericAgent:把有限上下文当作信息预算,而不是无底洞
  34. GroupMemBench:群聊记忆难在“谁在何时对谁说了什么”
  35. AgentGym2 精读:把现实世界藏在基准里的“脏活”还给 agent
  36. Claude Code 源码解析:共享 Query Loop 与产品能力栈
  37. 上下文、会话、压缩与子代理:四种状态模型
  38. 四个 Coding Agent 功能总矩阵:控制权放在哪里
  39. UI、SDK、协议与可观测性:四种接入面如何统一
  40. Agent Loop 与工具执行:四种控制流如何运转
  41. 权限、沙箱与扩展:四种安全边界如何落地
  42. Coding Agent 源码解析导读:版本、证据与四种控制面
  43. DeepSeek Harness 源码解析:Cordis 组合与持久事件面
  44. OpenAI Codex 源码解析:App Server 与本地 Agent OS
  45. Pi Agent 源码解析:最小核心、多模型与宿主扩展
  46. A3C:用许多不同步的学习者替代经验回放
  47. Dueling DQN:把“这个状态好不好”和“此刻该按哪个键”分开学
  48. GAE:在“看得远但噪声大”和“看得近但偏差大”之间连续调节
  49. PPO:用裁剪概率比限制一批数据被“用过头”
  50. 从人类偏好学深度强化学习:先学“怎样算好”,再让策略去优化
  51. 分布式强化学习:C51 不只猜平均回报,还猜回报的整个分布
  52. Soft Actor-Critic:让策略既追求高回报,也保留多种好选择
  53. TD3:别让 actor 把 critic 的估计误差当成捷径
  54. IMPALA:让大量 actor 放手采样,再用 V-trace 修正“旧策略数据”
  55. PlaNet:不预测未来像素,也能在“脑内”试动作
  56. R2D2:让循环网络从回放中学习,而不被“过期记忆”带偏
  57. RND:用“还没学会模仿随机老师”衡量新奇
  58. 从人类偏好微调语言模型:reward model、PPO 与 KL 约束的早期完整范式
  59. Dreamer:让策略在潜空间里“做梦”学会长期控制
  60. MuZero:不知道游戏规则,也能学会为搜索服务的世界模型
  61. CQL:离线强化学习里,先把没见过动作的虚高分压下来
  62. Learning to summarize from human feedback:把“人更喜欢哪篇摘要”变成语言模型的奖励
  63. Decision Transformer:把离线决策改写成“按目标回报续写动作”
  64. Trajectory Transformer:把动力学、行为约束和规划装进一次序列生成
  65. WebGPT:让语言模型浏览网页,并把人类偏好变成可优化的答案分数
  66. InstructGPT:把“续写互联网文本”改造成“按人的意图办事”
  67. HH-RLHF:同一个奖励怎样兼顾“有帮助”与“不伤人”
  68. Sparrow:把笼统“安全”拆成可逐条追问的规则
  69. Constitutional AI:用原则驱动自我修订与 AI 偏好标签
  70. RL4LMs 与 NLPO:给语言策略优化一套可比较的试验台
  71. DPO:把“奖励模型 + PPO”化成一次偏好分类
  72. Fine-Grained RLHF:告诉模型“哪一句、错在哪”
  73. RRHF:把候选答案按奖励排序,再让语言模型学会同样排序
  74. Let's Verify Step by Step:把“答案错了”拆成“第几步开始错”
  75. RLAIF vs. RLHF:把偏好标注员从人换成大模型,其他环节尽量不动
  76. DeepSeekMath / GRPO:用同题多个答案的相对得分取代巨大的价值模型
  77. RLOO:把一整段回答当成一个动作,用其他采样估计它的起跑线
  78. KTO:不凑偏好对,也能用“好/坏”标签直接对齐
  79. ORPO:把 SFT 与偏好惩罚合成一次训练
  80. SimPO:让训练奖励与生成时的平均似然对齐
  81. Self-Rewarding Language Models:同一个模型既作答又当裁判
  82. RewardBench:先测清“裁判”会不会判,再让策略听它的话
  83. DeepSeek-R1:可验证奖励怎样把长推理“练”出来
  84. Kimi k1.5:把长上下文、可验证奖励和训练系统一起扩展
  85. DAPO:让长思维链强化学习既能探索,也能稳定获得有效梯度
  86. Understanding R1-Zero-Like Training:先审计 base、模板和 loss,再谈“推理涌现”
  87. Search-R1:用最终答案奖励学习“何时搜、搜什么、何时停”
  88. RAGEN:多轮智能体强化学习为何先变好、再掉进“回声陷阱”
  89. SWE-RL:不用执行测试,也能从真实补丁的“相似程度”训练代码修复策略吗?
  90. Absolute Zero:模型自己出题、自己解题,但“零数据”究竟零掉了什么?
  91. SPIRAL:让同一个语言模型在零和游戏里左右互搏
  92. DPPO:大词表里,概率“倍数”不是策略“距离”
  93. ICRL for Tool Use:训练时给示范扶手,再一阶阶撤掉
  94. SAGE:让出题、规划、求解和质检共同训练,但闭环仍受验证器与课程漂移约束
  95. Q-Evolve:在每轮混合数据支持内分配过程信用,再用新交互进入下一轮
  96. AReaL2.0:把自进化 agent 的瓶颈从单个 RL 算法提升为数据协议、代理与控制平面
  97. 01. The Annotated Transformer:把论文变成可执行的解释
  98. 02. The First Law of Complexodynamics:为什么“有趣”通常出现在秩序与随机之间
  99. 03. The Unreasonable Effectiveness of RNNs:一个预测下一个字符的模型为何能学出结构
  100. 04. Understanding LSTM Networks:门控如何建立一条较稳定的记忆路径
  101. 05. Recurrent Neural Network Regularization:dropout 应避开哪条记忆通路
  102. 06. Keeping Neural Networks Simple by Minimizing the Description Length of the Weights:把泛化写成通信成本
  103. 07. Pointer Networks:让输出词表随输入一起变化
  104. 08. ImageNet Classification with Deep Convolutional Neural Networks:深度学习跨过工程临界点
  105. 09. Order Matters: Sequence to Sequence for Sets:无序对象为什么仍有“顺序问题”
  106. 10. GPipe:用微批次把超大模型流水化
  107. 11. Deep Residual Learning:把“学一个函数”改写成“修正恒等映射”
  108. 12. Dilated Convolutions:不降采样也能看见大范围上下文
  109. 13. Neural Message Passing:用一个框架统一分子图网络
  110. 14. Attention Is All You Need:把序列计算改造成全局可寻址的并行图
  111. 15. Jointly Learning to Align and Translate:注意力从“压缩整句”走向“按需读取”
  112. 16. Identity Mappings:让残差主干真正成为无障碍信息高速路
  113. 17. Relation Networks:把“比较对象”写进网络的计算图
  114. 18. Variational Lossy Autoencoder:用解码器的盲区决定潜变量记住什么
  115. 19. Relational Recurrent Neural Networks:让固定容量记忆在每一步内部自注意
  116. 20. Coffee Automaton:复杂度为何先升后降,以及一个必须保留的反例教训
  117. 21. Neural Turing Machines:让神经网络学习可微的读、写与寻址
  118. 22. Deep Speech 2:端到端不仅是一个损失函数,而是一整套规模化系统
  119. 23. Scaling Laws:把“做多大、喂多少数据、练多久”变成可拟合的工程问题
  120. 24. Minimum Description Length:把学习定义为寻找最短的“模型 + 数据”编码
  121. 25. Machine Super Intelligence:从 Solomonoff induction 到 AIXI 与通用智能度量
  122. 26. Kolmogorov Complexity and Algorithmic Randomness:把规律定义为可压缩的程序结构
  123. 27. CS231n(2016):从梯度检查到训练 ImageNet 网络的实践底座
  124. 28. Memory-Augmented Neural Networks:把一次性学习变成“写入—检索”
  125. 29. Prototypical Networks:让少样本分类退化成“离哪个中心最近”
  126. 30. MAML:学习一个“一两步就能学会”的参数起点
  127. 2025–2026 厂商真题精讲:把 slime 讲进面试
  128. 两个 verl 修复 PR 的完整拆解:#7150 与 #7151
  129. 2025–2026 大厂面试真题与热点精讲:verl 与 LLM RL
  130. Agentic RL 与多轮工具调用
  131. 笔试测评与 AI 面试指南
  132. 求职信息源清单与检索手册
  133. GRPO、RLVR 与新方法坐标系
  134. 2025—2026 国内大模型算法岗招聘、面经与笔试汇总
  135. Reward Model、DPO 与偏好学习
  136. 大模型强化学习 30 天学习与项目计划
  137. 强化学习手写练习与递进实验
  138. 多模态 RL、奖励模型前沿与 RL Scaling
  139. 大模型强化学习面经:79 张答案卡
  140. 大模型强化学习岗位地图与学习入口
  141. 大模型强化学习资料与面经来源索引
  142. 大模型 RL 训练系统、指标与排障
  143. RLHF 与 PPO:从四模型数据流到训练指标
  144. 大厂大模型部门格局与选组指南(2026-08)
  145. 2027 届秋招作战总计划(2026-09-08 更新)
  146. 2027 届秋招时间线与投递策略
  147. 招聘窗口与刷新日志(2026-09-08 快照)
  148. 大模型算法岗简历与投递材料指南
  149. 强化学习数学地基与 MDP
  150. 策略梯度、Actor-Critic 与 GAE
  151. 从 Monte Carlo、TD 到 Q-learning
  152. ACM 模式输入输出速查(Python)
  153. 2024–2027 大厂算法岗笔试作战手册
  154. CS336 Assignment 3:从 IsoFLOPs 到 48 B200-hour 配置外推
  155. CS336 Assignment 5:从 GRPO 到 DPO 的 Alignment 实战
  156. CS336 Assignment 1:从 BPE 到 Transformer 语言模型
  157. CS336 Assignment 2:从 FlashAttention 到 FSDP
  158. CS336 Assignment 4:从 Common Crawl 到可训练语料
  159. 大厂笔试超纲补丁:模板 28–35
  160. 大厂笔试模式识别与组合题决策树
  161. 大厂笔试提分补丁 v2:模板 36–44
  162. LeetCode Hot100 补充篇:位运算、数学与杂项技巧
  163. LeetCode Hot100 · 18 大算法模板与决策术
  164. 大模型算法岗 30 天冲刺计划
  165. 2025—2027 大模型算法岗题库与证据账本
  166. 大模型算法岗面试与备战指南
  167. ML / AI Coding 算法岗笔试补丁
  168. 算法与损失:从 RL 术语到 slime 的真实实现
  169. 架构与控制流:一次 rollout 如何变成一次参数更新
  170. 配置、资源与权重同步
  171. 数据管线:从一行数据到一次 Actor 更新
  172. 调试、可靠性与性能
  173. 扩展点与真实场景
  174. slime 面试与源码解读指南
  175. 面试题库与模拟追问
  176. 项目全景:slime 解决什么问题
  177. 源码阅读路线
  178. 同步、流水异步与 fully-async
  179. verl 算法与数学实现:PPO、GRPO、RLOO 与 DAPO
  180. verl 系统架构:Role、WorkerGroup 与 DataProto
  181. verl 配置方法与真实训练场景
  182. verl 的数据、奖励、多轮 Agent 与 VLM
  183. verl 实战:从训练数据到 Hugging Face 模型导出
  184. verl 分布式执行与训练、Rollout 后端
  185. 如何扩展 verl:算法、Reward、模型与后端
  186. verl 高频面试题与回答框架
  187. 十分钟读懂 verl:架构、算法与训练主线
  188. verl 性能分析、稳定性与排障
  189. verl 必备背景:RLHF、PPO 与推理训练协同
  190. verl 源码导航与七天学习路线
  191. 一次 verl 训练如何跑起来
  192. verl 进阶能力与版本边界
  193. 为什么 Codex 总在压缩:一次会话复盘与源码核对