CS336 Assignment 3:从 IsoFLOPs 到 48 B200-hour 配置外推
逐步拆解 CS336 Assignment 3:IsoFLOPs 最优点选择、log-log 幂律拟合、loss 外推、B200 墙钟时间换算、实验结果过滤以及合法训练配置生成。
大模型算法、训练系统与工程实践的学习笔记。
Tag
10 essays under this label.
逐步拆解 CS336 Assignment 3:IsoFLOPs 最优点选择、log-log 幂律拟合、loss 外推、B200 墙钟时间换算、实验结果过滤以及合法训练配置生成。
从 rollout、reward、group advantage 到 GRPO/GSPO,再到 packed SFT 与 DPO:结合公式、张量形状、数值例子和 18 个独立测试完整拆解 Assignment 5。
从零实现 byte-level BPE、RoPE Transformer、AdamW、训练与生成管线,并记录 TinyStories 在 A100 上的真实数据准备和 smoke run。
从测量方法、混合精度和 activation checkpointing 开始,逐步推导并拆解 FlashAttention、三种 DDP、optimizer state sharding 与教学型 FSDP 的实现、测试证据和工程边界。
从 WARC/WET 数据结构开始,逐步实现 HTML 提取、语言与质量过滤、PII masking、两级去重、GPT-2 tokenization、训练前检查与可复现实验报告。
从 import-path hook 和 Sample 契约出发,设计搜索、工具、sandbox、代码 Agent、多 Agent、VLM 与 OPD 训练方案。
一套从零建立 slime 心智模型、追踪源码、理解算法与系统取舍,并准备真实场景面试追问的完整学习路线。
从在线 RL 的系统难点出发,解释 slime 的定位、Ray、Megatron、SGLang 分工、设计取舍与能力边界。
一次实地复核:Codex 的自动压缩是模型问题还是 harness 问题?从本地会话轨迹、openai/codex 源码到 AGENTS.md 改造,给出可复现的诊断与可落地的方案。