专题

Stanford CS336 学习笔记

从数据、模型到系统,记录 Stanford CS336 作业的实现、实验与工程复盘。

共 5 篇,按顺序阅读。

这组文章不是课程官方答案,而是一份公开、可复现的学习记录。我会把实现选择、实验数据、失败路径和资源限制一起写下来,让代码之外的判断过程也能被检查。

五个作业的代码统一整理在 cs336-coursework 仓库。读完 Assignment 5(Alignment)后,系统化的强化学习备战见姊妹合集《大模型强化学习:从零到面试》。

篇目

  1. 01

    Jul 26, 2026 约 37 分钟

    CS336 Assignment 1:从 BPE 到 Transformer 语言模型

    从零实现 byte-level BPE、RoPE Transformer、AdamW、训练与生成管线,并记录 TinyStories 在 A100 上的真实数据准备和 smoke run。

  2. 02

    Jul 26, 2026 约 31 分钟

    CS336 Assignment 2:从 FlashAttention 到 FSDP

    从测量方法、混合精度和 activation checkpointing 开始,逐步推导并拆解 FlashAttention、三种 DDP、optimizer state sharding 与教学型 FSDP 的实现、测试证据和工程边界。

  3. 03

    Jul 26, 2026 约 27 分钟

    CS336 Assignment 3:从 IsoFLOPs 到 48 B200-hour 配置外推

    逐步拆解 CS336 Assignment 3:IsoFLOPs 最优点选择、log-log 幂律拟合、loss 外推、B200 墙钟时间换算、实验结果过滤以及合法训练配置生成。

  4. 04

    Jul 26, 2026 约 28 分钟

    CS336 Assignment 4:从 Common Crawl 到可训练语料

    从 WARC/WET 数据结构开始,逐步实现 HTML 提取、语言与质量过滤、PII masking、两级去重、GPT-2 tokenization、训练前检查与可复现实验报告。

  5. 05

    Jul 26, 2026 约 19 分钟

    CS336 Assignment 5:从 GRPO 到 DPO 的 Alignment 实战

    从 rollout、reward、group advantage 到 GRPO/GSPO,再到 packed SFT 与 DPO:结合公式、张量形状、数值例子和 18 个独立测试完整拆解 Assignment 5。