Jul 26, 2026 31 min read Featured
CS336 Assignment 2:从 FlashAttention 到 FSDP
从测量方法、混合精度和 activation checkpointing 开始,逐步推导并拆解 FlashAttention、三种 DDP、optimizer state sharding 与教学型 FSDP 的实现、测试证据和工程边界。
大模型算法、训练系统与工程实践的学习笔记。
Tag
1 essay under this label.
从测量方法、混合精度和 activation checkpointing 开始,逐步推导并拆解 FlashAttention、三种 DDP、optimizer state sharding 与教学型 FSDP 的实现、测试证据和工程边界。