Jul 26, 2026 9 min read verl 分布式执行与训练、Rollout 后端 比较共置与分离、FSDP2 与 Megatron、vLLM 与 SGLang,以及六种权重同步后端与异步正确性。 verldistributed-systemsfsdpmegatron