Aug 23, 2026 4 min read
06. Keeping Neural Networks Simple by Minimizing the Description Length of the Weights:把泛化写成通信成本
论文把训练后的权重当作要发送给接收者的消息:模型拟合得更好会缩短残差编码,但精确、意外的权重需要更多比特。最小化两者之和,导出对权重分布而非单点权重的训练目标,是现代变分贝叶斯神经网络的早期原型。
大模型算法、训练系统与工程实践的学习笔记。
Tag
2 essays under this label.
论文把训练后的权重当作要发送给接收者的消息:模型拟合得更好会缩短残差编码,但精确、意外的权重需要更多比特。最小化两者之和,导出对权重分布而非单点权重的训练目标,是现代变分贝叶斯神经网络的早期原型。
MDL 选择能让数据获得最短无歧义描述的模型。简单模型编码短但残差长,复杂模型残差短但自身或其模型类代价大;最短总码长在欠拟合和过拟合之间自动权衡。refined MDL 用 universal code/NML 取代随意的参数小数位编码,使原则成为可比较的统计方法。