Aug 23, 2026 4 min read
08. ImageNet Classification with Deep Convolutional Neural Networks:深度学习跨过工程临界点
AlexNet 把大规模标注数据、GPU 卷积、ReLU、数据增强、dropout 和足够容量组合起来,在 ImageNet 上把 top-5 竞赛错误率降到 15.3%,第二名为 26.2%。它证明当数据、计算和训练配方同时到位时,学习特征可以压倒手工视觉管线。
大模型算法、训练系统与工程实践的学习笔记。
Tag
5 essays under this label.
AlexNet 把大规模标注数据、GPU 卷积、ReLU、数据增强、dropout 和足够容量组合起来,在 ImageNet 上把 top-5 竞赛错误率降到 15.3%,第二名为 26.2%。它证明当数据、计算和训练配方同时到位时,学习特征可以压倒手工视觉管线。
ResNet 的决定性一步不是单纯加深网络,而是把一个层组写成 y = x + F(x)。恒等支路让信号和梯度拥有一条无参数的直达路径,残差支路只需学习相对输入的修正,于是“更深至少不应更差”从一个存在性论证变成了优化器更容易找到的参数化。
空洞卷积(dilated/atrous convolution)在卷积核采样点之间插入间隔,让感受野随层数指数扩大,同时保持特征图分辨率、参数量和每层采样点数。这解决了密集预测里“需要全局语义,却不能反复池化丢掉边界”的冲突。
原始 ResNet 的 shortcut 是恒等,但相加后仍经过 ReLU。本文推导:若 shortcut 和相加后的映射都为恒等,任意浅层到深层之间都有一条只含加法的前向/反向路径。将 BN、ReLU 移到卷积前的 full pre-activation block 更接近这一条件,也让 1001 层网络明显更易训练。
CS231n 不是单篇论文,而是一条“亲手写出并调通网络”的训练路径:数据划分、线性分类器、loss、解析/数值梯度、反向传播、初始化、正则、优化、卷积尺寸、经典架构、可视化、检测/分割、RNN 和工程瓶颈。它把书单中的许多局部突破装回一个能工作的完整流程。