Jul 26, 2026 27 min read Featured
CS336 Assignment 3:从 IsoFLOPs 到 48 B200-hour 配置外推
逐步拆解 CS336 Assignment 3:IsoFLOPs 最优点选择、log-log 幂律拟合、loss 外推、B200 墙钟时间换算、实验结果过滤以及合法训练配置生成。
大模型算法、训练系统与工程实践的学习笔记。
Tag
5 essays under this label.
逐步拆解 CS336 Assignment 3:IsoFLOPs 最优点选择、log-log 幂律拟合、loss 外推、B200 墙钟时间换算、实验结果过滤以及合法训练配置生成。
从 rollout、reward、group advantage 到 GRPO/GSPO,再到 packed SFT 与 DPO:结合公式、张量形状、数值例子和 18 个独立测试完整拆解 Assignment 5。
从零实现 byte-level BPE、RoPE Transformer、AdamW、训练与生成管线,并记录 TinyStories 在 A100 上的真实数据准备和 smoke run。
从测量方法、混合精度和 activation checkpointing 开始,逐步推导并拆解 FlashAttention、三种 DDP、optimizer state sharding 与教学型 FSDP 的实现、测试证据和工程边界。
从 WARC/WET 数据结构开始,逐步实现 HTML 提取、语言与质量过滤、PII masking、两级去重、GPT-2 tokenization、训练前检查与可复现实验报告。