Jul 26, 2026 28 min read Featured
CS336 Assignment 4:从 Common Crawl 到可训练语料
从 WARC/WET 数据结构开始,逐步实现 HTML 提取、语言与质量过滤、PII masking、两级去重、GPT-2 tokenization、训练前检查与可复现实验报告。
大模型算法、训练系统与工程实践的学习笔记。
Tag
2 essays under this label.
从 WARC/WET 数据结构开始,逐步实现 HTML 提取、语言与质量过滤、PII masking、两级去重、GPT-2 tokenization、训练前检查与可复现实验报告。
追踪 prompt、Sample、reward、loss mask、logprob、rollout ID、GBS、micro-batch 与 DP/CP packed sequence 的完整生命周期。