专题
Ilya Sutskever 必读材料:30 项深度导读
从可核查的 27 项保留清单出发,逐篇解释核心理论、实现、同期替代路线、优缺点与跨领域价值,并以三篇元学习代表作完成课程结构。
共 30 篇,按顺序阅读。
这套专题把网上流传的 “Ilya 推荐阅读清单” 整理成一条可以顺序学习、也可以按主题跳读的技术路线。每篇都会回答:为什么它可能出现在这套材料中、贡献与理论是什么、怎样实现、证据支持到哪里、其他路线如何解决同一问题,以及今天还能迁移到哪里。
先说明历史边界
John Carmack 回忆收到的是一份大约 40 项的材料清单;原邮件后来丢失。2024 年 Andrew Carr 公开的部分资料稳定保留 27 项,并注明缺少 “Meta Learning” 一组。因此:
- 01–27 是多个公开副本一致的高可信重建,仍不是 Ilya 本人正式发布的完整书单;
- 28–30 是 MANN、Prototypical Networks、MAML 三条元学习路线的编辑补全;
- 补成 30 项只是在构造课程,不表示已经恢复其余历史缺项。
逐篇的“为什么推荐”都会把已知事实和课程作用推断分开,避免替 Ilya 虚构没有留下记录的个人理由。
推荐阅读路线
| 阶段 | 建议顺序 | 建立的能力 |
|---|---|---|
| 训练与视觉 | 27 → 08 → 11 → 16 → 12 | 反向传播、卷积、残差路径与 dense prediction |
| 序列与注意力 | 03 → 04 → 05 → 15 → 07 → 14 → 01 | RNN/LSTM、软对齐、动态输出与 Transformer |
| 集合、关系与记忆 | 09 → 17 → 13 → 21 → 19 | 对称性、图消息传递与可微外部记忆 |
| 生成、语音与系统 | 18 → 22 → 10 → 23 | 潜变量、CTC、流水并行与规模规律 |
| 压缩与通用智能 | 26 → 24 → 06 → 02 → 20 → 25 | Kolmogorov、MDL、复杂性与智能形式化 |
| 元学习候选 | 28 → 29 → 30 | 通过记忆、度量与梯度完成快速适应 |
若只想先建立一条现代深度学习骨架,可以先读:27 → 08 → 11 → 04 → 15 → 14 → 01 → 13 → 23 → 24。
代码与研究档案
关键机制都提供独立 NumPy 实现和自动测试,包括 attention、RNN/LSTM、卷积与残差、集合与图、NTM/LRUA、CTC、VAE/MDL、GPipe/scaling、ProtoNet 与 MAML。教学实现验证公式和不变量,不冒充 ImageNet、Deep Speech 2 或完整大模型训练复现。
这份档案已通过 58 个自动测试;25 份可公开获取的 PDF 使用带令牌的 MinerU VLM 完成解析,公式、实验数字和限制仍以论文原文、正式页面和作者勘误为准。
篇目
-
01
Aug 23, 2026 约 5 分钟01. The Annotated Transformer:把论文变成可执行的解释
这份材料逐行实现 Transformer,把论文里分散的结构、掩码、训练日程和解码细节连接成一台能运行的机器。它本身没有提出 Transformer,却解释了“公式都看懂了,为什么代码仍容易写错”。
-
02
Aug 23, 2026 约 5 分钟02. The First Law of Complexodynamics:为什么“有趣”通常出现在秩序与随机之间
熵可以单调增加,结构复杂度却常先升后降:一杯牛奶刚倒入咖啡时有清晰边界,完全混匀后近似随机,最丰富的涡流出现在中间。文章尝试用算法信息论刻画这个直觉。
-
03
Aug 23, 2026 约 4 分钟03. The Unreasonable Effectiveness of RNNs:一个预测下一个字符的模型为何能学出结构
文章用字符级语言建模展示循环神经网络:只训练“给定过去字符,预测下一个字符”,模型就能生成近似莎士比亚、Linux 源码和 LaTeX 的局部结构,并在隐藏单元中形成可解释的引号、行首和代码区域状态。
-
04
Aug 23, 2026 约 3 分钟04. Understanding LSTM Networks:门控如何建立一条较稳定的记忆路径
这篇教程用图和逐项公式解释 LSTM:它把记忆状态设计成加法更新,并用遗忘、写入和输出三个门控制信息流,从而缓解普通 RNN 中反复非线性变换造成的长距离梯度消失。
-
05
Aug 23, 2026 约 4 分钟05. Recurrent Neural Network Regularization:dropout 应避开哪条记忆通路
论文给出一个简单规则:对深层 LSTM 的输入、层间和输出等非循环连接使用 dropout,保留时间方向的循环连接不受扰动。这样既能正则化大模型,又不在每一步反复破坏长期记忆。
-
06
Aug 23, 2026 约 4 分钟06. Keeping Neural Networks Simple by Minimizing the Description Length of the Weights:把泛化写成通信成本
论文把训练后的权重当作要发送给接收者的消息:模型拟合得更好会缩短残差编码,但精确、意外的权重需要更多比特。最小化两者之和,导出对权重分布而非单点权重的训练目标,是现代变分贝叶斯神经网络的早期原型。
-
07
Aug 23, 2026 约 4 分钟07. Pointer Networks:让输出词表随输入一起变化
普通 seq2seq 从固定词表生成符号;Pointer Network 把注意力分布直接当作输出分布,因此每一步输出的是“输入中的第几个元素”。输出类别数自然随输入长度变化。
-
08
Aug 23, 2026 约 4 分钟08. ImageNet Classification with Deep Convolutional Neural Networks:深度学习跨过工程临界点
AlexNet 把大规模标注数据、GPU 卷积、ReLU、数据增强、dropout 和足够容量组合起来,在 ImageNet 上把 top-5 竞赛错误率降到 15.3%,第二名为 26.2%。它证明当数据、计算和训练配方同时到位时,学习特征可以压倒手工视觉管线。
-
09
Aug 23, 2026 约 5 分钟09. Order Matters: Sequence to Sequence for Sets:无序对象为什么仍有“顺序问题”
论文同时处理两个不同问题:输入是集合时,表示必须对排列不变;输出是集合时,同一答案有许多等价序列,训练必须选择或边缘化输出顺序。标题“顺序很重要”指优化会受线性化方式影响,即使任务语义不关心顺序。
-
10
Aug 23, 2026 约 4 分钟10. GPipe:用微批次把超大模型流水化
GPipe 把连续网络层切到 K 个设备,再把一个 mini-batch 切成 M 个 micro-batch 依次穿过这些分区。设备处理不同微批次形成流水线;所有微批梯度累积后只做一次同步更新,避免异步权重陈旧。
-
11
Aug 23, 2026 约 4 分钟11. Deep Residual Learning:把“学一个函数”改写成“修正恒等映射”
ResNet 的决定性一步不是单纯加深网络,而是把一个层组写成 y = x + F(x)。恒等支路让信号和梯度拥有一条无参数的直达路径,残差支路只需学习相对输入的修正,于是“更深至少不应更差”从一个存在性论证变成了优化器更容易找到的参数化。
-
12
Aug 23, 2026 约 4 分钟12. Dilated Convolutions:不降采样也能看见大范围上下文
空洞卷积(dilated/atrous convolution)在卷积核采样点之间插入间隔,让感受野随层数指数扩大,同时保持特征图分辨率、参数量和每层采样点数。这解决了密集预测里“需要全局语义,却不能反复池化丢掉边界”的冲突。
-
13
Aug 23, 2026 约 4 分钟13. Neural Message Passing:用一个框架统一分子图网络
MPNN 把一大批图神经网络归纳为两个阶段:节点沿边发送并聚合消息,反复更新局部状态;最后用对节点排列不敏感的 readout 得到整图预测。它既是具体分子性质模型,也是至今仍通用的 GNN 接口语言。
-
14
Aug 23, 2026 约 4 分钟14. Attention Is All You Need:把序列计算改造成全局可寻址的并行图
Transformer 去掉 encoder/decoder 中的循环和卷积,用多头自注意力在一层内连接任意位置,再用逐位置 MLP 变换内容。它将训练的关键顺序依赖从 O(n) 降为常数层级,使大规模并行训练和短路径长程依赖同时成为可能。
-
15
Aug 23, 2026 约 4 分钟15. Jointly Learning to Align and Translate:注意力从“压缩整句”走向“按需读取”
早期 seq2seq 把整条源句压进一个固定长度向量。Bahdanau attention 改为保存每个源位置的双向表示,并让 decoder 在生成每个目标词时,学习一组对齐权重、加权读取所需内容。对齐不再是外部流水线或离散隐变量,而是可端到端训练的软寻址。
-
16
Aug 23, 2026 约 4 分钟16. Identity Mappings:让残差主干真正成为无障碍信息高速路
原始 ResNet 的 shortcut 是恒等,但相加后仍经过 ReLU。本文推导:若 shortcut 和相加后的映射都为恒等,任意浅层到深层之间都有一条只含加法的前向/反向路径。将 BN、ReLU 移到卷积前的 full pre-activation block 更接近这一条件,也让 1001 层网络明显更易训练。
-
17
Aug 23, 2026 约 4 分钟17. Relation Networks:把“比较对象”写进网络的计算图
Relation Network(RN)枚举对象对,用同一个 gθ 计算每对关系,求和后由 fφ 回答问题:RN(O)=fφ(Σi,jgθ(oi,oj))。它把关系推理所需的参数共享、全对比较和顺序不变性直接放进架构,而不是指望普通 MLP/CNN 从数据中偶然学会。
-
18
Aug 23, 2026 约 4 分钟18. Variational Lossy Autoencoder:用解码器的盲区决定潜变量记住什么
强自回归 decoder 往往能绕过 VAE latent,造成 posterior collapse。VLAE 不只把这看成优化故障,而利用“信息偏好”:让局部 PixelCNN 负责可由邻域预测的纹理,迫使有限感受野之外的全局形状通过 z 传递;改变 decoder 可见的信息,就能控制 lossy representation 保存什么。
-
19
Aug 23, 2026 约 4 分钟19. Relational Recurrent Neural Networks:让固定容量记忆在每一步内部自注意
Relational Memory Core(RMC)把 RNN 的单一 hidden vector 改成固定数量的 memory slots;每个时间步先用多头 self-attention 让 slots 彼此交换信息、吸收新输入,再以 LSTM 式门控写回。它在不让历史缓存随时间增长的前提下,为跨时间关系推理加入显式归纳偏置。
-
20
Aug 23, 2026 约 5 分钟20. Coffee Automaton:复杂度为何先升后降,以及一个必须保留的反例教训
热力学熵从低到高,但“有趣结构”在完全分层和完全混合时都低,似乎在中间最高。论文用粗粒化图像的压缩长度近似 apparent complexity,并以奶油扩散自动机实验这一“先升后降”。然而作者很快确认:原 interacting rule 也不会产生所声称的大中间复杂度,数值 bump 主要来自边界量化伪影。正确价值在问题、度量框架、负面定理和公开纠错,而不在那条已撤回的正面曲线。
-
21
Aug 23, 2026 约 4 分钟21. Neural Turing Machines:让神经网络学习可微的读、写与寻址
NTM 把 controller 与外部 N×M memory matrix 相连。读写头不选一个离散地址,而产生对所有地址的软权重;读、擦除、添加、内容查找和地址移动全部可微,因此仅凭输入输出样例就能用梯度下降学出复制、关联检索和排序的近似算法。
-
22
Aug 23, 2026 约 4 分钟22. Deep Speech 2:端到端不仅是一个损失函数,而是一整套规模化系统
Deep Speech 2 用 convolution + 深层双向/单向 RNN 直接把 spectrogram 映射为字符分布,以 CTC 边缘化未知帧—文本对齐,再用语言模型 beam search 解码。真正贡献还包括海量数据构建、RNN BatchNorm、SortaGrad、GPU CTC、分布式训练和低延迟部署,证明端到端 ASR 是系统工程而非删掉所有组件。
-
23
Aug 23, 2026 约 4 分钟23. Scaling Laws:把“做多大、喂多少数据、练多久”变成可拟合的工程问题
论文在约 10³–10⁹ 非 embedding 参数、22M–23B tokens 和跨多个数量级 compute 的训练中发现:语言模型 cross-entropy 对模型规模 N、数据 D、最优 compute C 近似幂律,并由此推导固定预算的 compute-efficient frontier。它把 scaling 从信念变成可实验估计,但具体指数不是自然常数,后来已被 Chinchilla 修正。
-
24
Aug 23, 2026 约 4 分钟24. Minimum Description Length:把学习定义为寻找最短的“模型 + 数据”编码
MDL 选择能让数据获得最短无歧义描述的模型。简单模型编码短但残差长,复杂模型残差短但自身或其模型类代价大;最短总码长在欠拟合和过拟合之间自动权衡。refined MDL 用 universal code/NML 取代随意的参数小数位编码,使原则成为可比较的统计方法。
-
25
Aug 23, 2026 约 4 分钟25. Machine Super Intelligence:从 Solomonoff induction 到 AIXI 与通用智能度量
论文把 intelligence 暂定为“agent 在广泛环境中实现目标的能力”,用按 Kolmogorov complexity 加权的所有可计算环境把它形式化;Solomonoff mixture 解决被动预测,AIXI 再加 sequential decision theory 选择动作。得到的是极强但不可计算的规范性上界,不是可直接运行的 AGI 配方。
-
26
Aug 23, 2026 约 4 分钟26. Kolmogorov Complexity and Algorithmic Randomness:把规律定义为可压缩的程序结构
一个有限对象的 Kolmogorov complexity 是输出它的最短程序长度;算法统计学再问,这些 bit 中多少是可复用的“模型结构”,多少只是模型内的随机索引。第 434 页附近的 two-part descriptions 正好把这一问题写成 model complexity + log model size,是 MDL、泛化和“规律与噪声”最严格的概念底座之一。
-
27
Aug 23, 2026 约 3 分钟27. CS231n(2016):从梯度检查到训练 ImageNet 网络的实践底座
CS231n 不是单篇论文,而是一条“亲手写出并调通网络”的训练路径:数据划分、线性分类器、loss、解析/数值梯度、反向传播、初始化、正则、优化、卷积尺寸、经典架构、可视化、检测/分割、RNN 和工程瓶颈。它把书单中的许多局部突破装回一个能工作的完整流程。
-
28
Aug 23, 2026 约 7 分钟28. Memory-Augmented Neural Networks:把一次性学习变成“写入—检索”
这篇论文把 few-shot classification 设计成一个有外部记忆的序列任务:模型见到新样本后立即把“表示—临时标签”绑定写入记忆,再用内容寻址找回;它不靠许多步梯度更新,而靠一次 episode 内的快速状态变化完成学习。
-
29
Aug 23, 2026 约 7 分钟29. Prototypical Networks:让少样本分类退化成“离哪个中心最近”
Prototypical Networks 用 episodic training 学一个 embedding,在每个新任务中把某类 support embeddings 的均值当作 prototype,再按 query 到各 prototype 的距离分类。它没有内循环梯度,也没有复杂外部记忆,却以非常强的“每类形成单簇”归纳偏置得到稳定的 few-shot baseline。
-
30
Aug 23, 2026 约 7 分钟30. MAML:学习一个“一两步就能学会”的参数起点
Model-Agnostic Meta-Learning(MAML)不为任务手工设计记忆或度量,而是寻找一组初始化参数 theta:从这里出发,只用新任务的少量数据做一两步梯度下降,就能获得低的新任务损失。