Jul 26, 2026 37 min read Featured
CS336 Assignment 1:从 BPE 到 Transformer 语言模型
从零实现 byte-level BPE、RoPE Transformer、AdamW、训练与生成管线,并记录 TinyStories 在 A100 上的真实数据准备和 smoke run。
大模型算法、训练系统与工程实践的学习笔记。
Tag
1 essay under this label.
从零实现 byte-level BPE、RoPE Transformer、AdamW、训练与生成管线,并记录 TinyStories 在 A100 上的真实数据准备和 smoke run。