Blog

全部文章。

完整索引。需要时用搜索,平时当目录读;专题会折叠成一组。

Archive

193 posts in the archive.

2026

Series 8 parts Updated Aug 31, 2026

算法与笔试训练

从 LeetCode Hot100 模板到 ACM 输入输出、组合题识别和大厂笔试进阶算法的完整训练资料。

Series 11 parts Updated Aug 30, 2026

Coding Agent 源码解剖:Pi、Codex、DeepSeek Harness 与 Claude Code

固定到 2026-08-29 可核查的源码与发布物,系统比较四种 Coding Agent,并以截至 2026-08-30 的公开证据整理国内大厂 Agent 面试指南。

Series 32 parts Updated Aug 29, 2026

LLM Agent 论文精读:2022–2026

按首次公开时间精读 32 篇核心论文,从行动与工具、反思与记忆、多智能体,到真实环境、可靠性、安全和自改进。

Series 51 parts Updated Aug 29, 2026

强化学习论文精读:2016–2026

51 篇重要强化学习论文的逐篇中文精读:从价值学习、策略梯度和世界模型,到 RLHF、RLVR、推理与智能体强化学习。

Series 30 parts Updated Aug 23, 2026

Ilya Sutskever 必读材料:30 项深度导读

从可核查的 27 项保留清单出发,逐篇解释核心理论、实现、同期替代路线、优缺点与跨领域价值,并以三篇元学习代表作完成课程结构。

Part 15 Aug 23, 2026 4 min read

15. Jointly Learning to Align and Translate:注意力从“压缩整句”走向“按需读取”

早期 seq2seq 把整条源句压进一个固定长度向量。Bahdanau attention 改为保存每个源位置的双向表示,并让 decoder 在生成每个目标词时,学习一组对齐权重、加权读取所需内容。对齐不再是外部流水线或离散隐变量,而是可端到端训练的软寻址。

Part 16 Aug 23, 2026 4 min read

16. Identity Mappings:让残差主干真正成为无障碍信息高速路

原始 ResNet 的 shortcut 是恒等,但相加后仍经过 ReLU。本文推导:若 shortcut 和相加后的映射都为恒等,任意浅层到深层之间都有一条只含加法的前向/反向路径。将 BN、ReLU 移到卷积前的 full pre-activation block 更接近这一条件,也让 1001 层网络明显更易训练。

Part 18 Aug 23, 2026 4 min read

18. Variational Lossy Autoencoder:用解码器的盲区决定潜变量记住什么

强自回归 decoder 往往能绕过 VAE latent,造成 posterior collapse。VLAE 不只把这看成优化故障,而利用“信息偏好”:让局部 PixelCNN 负责可由邻域预测的纹理,迫使有限感受野之外的全局形状通过 z 传递;改变 decoder 可见的信息,就能控制 lossy representation 保存什么。

Part 19 Aug 23, 2026 4 min read

19. Relational Recurrent Neural Networks:让固定容量记忆在每一步内部自注意

Relational Memory Core(RMC)把 RNN 的单一 hidden vector 改成固定数量的 memory slots;每个时间步先用多头 self-attention 让 slots 彼此交换信息、吸收新输入,再以 LSTM 式门控写回。它在不让历史缓存随时间增长的前提下,为跨时间关系推理加入显式归纳偏置。

Part 20 Aug 23, 2026 5 min read

20. Coffee Automaton:复杂度为何先升后降,以及一个必须保留的反例教训

热力学熵从低到高,但“有趣结构”在完全分层和完全混合时都低,似乎在中间最高。论文用粗粒化图像的压缩长度近似 apparent complexity,并以奶油扩散自动机实验这一“先升后降”。然而作者很快确认:原 interacting rule 也不会产生所声称的大中间复杂度,数值 bump 主要来自边界量化伪影。正确价值在问题、度量框架、负面定理和公开纠错,而不在那条已撤回的正面曲线。

Part 22 Aug 23, 2026 4 min read

22. Deep Speech 2:端到端不仅是一个损失函数,而是一整套规模化系统

Deep Speech 2 用 convolution + 深层双向/单向 RNN 直接把 spectrogram 映射为字符分布,以 CTC 边缘化未知帧—文本对齐,再用语言模型 beam search 解码。真正贡献还包括海量数据构建、RNN BatchNorm、SortaGrad、GPU CTC、分布式训练和低延迟部署,证明端到端 ASR 是系统工程而非删掉所有组件。

Part 23 Aug 23, 2026 4 min read

23. Scaling Laws:把“做多大、喂多少数据、练多久”变成可拟合的工程问题

论文在约 10³–10⁹ 非 embedding 参数、22M–23B tokens 和跨多个数量级 compute 的训练中发现:语言模型 cross-entropy 对模型规模 N、数据 D、最优 compute C 近似幂律,并由此推导固定预算的 compute-efficient frontier。它把 scaling 从信念变成可实验估计,但具体指数不是自然常数,后来已被 Chinchilla 修正。

Part 24 Aug 23, 2026 4 min read

24. Minimum Description Length:把学习定义为寻找最短的“模型 + 数据”编码

MDL 选择能让数据获得最短无歧义描述的模型。简单模型编码短但残差长,复杂模型残差短但自身或其模型类代价大;最短总码长在欠拟合和过拟合之间自动权衡。refined MDL 用 universal code/NML 取代随意的参数小数位编码,使原则成为可比较的统计方法。

Part 25 Aug 23, 2026 4 min read

25. Machine Super Intelligence:从 Solomonoff induction 到 AIXI 与通用智能度量

论文把 intelligence 暂定为“agent 在广泛环境中实现目标的能力”,用按 Kolmogorov complexity 加权的所有可计算环境把它形式化;Solomonoff mixture 解决被动预测,AIXI 再加 sequential decision theory 选择动作。得到的是极强但不可计算的规范性上界,不是可直接运行的 AGI 配方。

Part 26 Aug 23, 2026 4 min read

26. Kolmogorov Complexity and Algorithmic Randomness:把规律定义为可压缩的程序结构

一个有限对象的 Kolmogorov complexity 是输出它的最短程序长度;算法统计学再问,这些 bit 中多少是可复用的“模型结构”,多少只是模型内的随机索引。第 434 页附近的 two-part descriptions 正好把这一问题写成 model complexity + log model size,是 MDL、泛化和“规律与噪声”最严格的概念底座之一。

Part 27 Aug 23, 2026 3 min read

27. CS231n(2016):从梯度检查到训练 ImageNet 网络的实践底座

CS231n 不是单篇论文,而是一条“亲手写出并调通网络”的训练路径:数据划分、线性分类器、loss、解析/数值梯度、反向传播、初始化、正则、优化、卷积尺寸、经典架构、可视化、检测/分割、RNN 和工程瓶颈。它把书单中的许多局部突破装回一个能工作的完整流程。

Part 29 Aug 23, 2026 7 min read

29. Prototypical Networks:让少样本分类退化成“离哪个中心最近”

Prototypical Networks 用 episodic training 学一个 embedding,在每个新任务中把某类 support embeddings 的均值当作 prototype,再按 query 到各 prototype 的距离分类。它没有内循环梯度,也没有复杂外部记忆,却以非常强的“每类形成单簇”归纳偏置得到稳定的 few-shot baseline。

Series 12 parts Updated Aug 29, 2026

slime 面试与源码解读指南

从项目定位、架构控制流和数据管线,到算法、配置、扩展、调试、源码阅读与面试追问的系统指南。

Series 16 parts Updated Aug 29, 2026

verl 源码解读与面试指南

从 RLHF 基础、系统架构和训练链路,到分布式后端、排障、扩展、模型导出、大厂真题与 PR 实战的完整专题。

Series 14 parts Updated Sep 8, 2026

大模型强化学习:从零到面试

面向无强化学习项目经验的系统课程:从 MDP、策略梯度和 GAE,到 PPO、DPO、GRPO、Agentic RL、训练排障、手写实验与 30 天冲刺。

Series 13 parts Updated Sep 8, 2026

大模型算法岗求职笔记

面向 2027 届秋招的大模型算法岗求职资料:公开面经证据账本、笔试作战手册、系统备战指南与 30 天执行计划。

Series 5 parts Updated Aug 14, 2026

Stanford CS336 学习笔记

从数据、模型到系统,记录 Stanford CS336 作业的实现、实验与工程复盘。