Tag

scaling-laws

2 essays under this label.

Aug 23, 2026 4 min read

23. Scaling Laws:把“做多大、喂多少数据、练多久”变成可拟合的工程问题

论文在约 10³–10⁹ 非 embedding 参数、22M–23B tokens 和跨多个数量级 compute 的训练中发现:语言模型 cross-entropy 对模型规模 N、数据 D、最优 compute C 近似幂律,并由此推导固定预算的 compute-efficient frontier。它把 scaling 从信念变成可实验估计,但具体指数不是自然常数,后来已被 Chinchilla 修正。