Aug 23, 2026 5 min read
02. The First Law of Complexodynamics:为什么“有趣”通常出现在秩序与随机之间
熵可以单调增加,结构复杂度却常先升后降:一杯牛奶刚倒入咖啡时有清晰边界,完全混匀后近似随机,最丰富的涡流出现在中间。文章尝试用算法信息论刻画这个直觉。
大模型算法、训练系统与工程实践的学习笔记。
Tag
3 essays under this label.
熵可以单调增加,结构复杂度却常先升后降:一杯牛奶刚倒入咖啡时有清晰边界,完全混匀后近似随机,最丰富的涡流出现在中间。文章尝试用算法信息论刻画这个直觉。
热力学熵从低到高,但“有趣结构”在完全分层和完全混合时都低,似乎在中间最高。论文用粗粒化图像的压缩长度近似 apparent complexity,并以奶油扩散自动机实验这一“先升后降”。然而作者很快确认:原 interacting rule 也不会产生所声称的大中间复杂度,数值 bump 主要来自边界量化伪影。正确价值在问题、度量框架、负面定理和公开纠错,而不在那条已撤回的正面曲线。
一个有限对象的 Kolmogorov complexity 是输出它的最短程序长度;算法统计学再问,这些 bit 中多少是可复用的“模型结构”,多少只是模型内的随机索引。第 434 页附近的 two-part descriptions 正好把这一问题写成 model complexity + log model size,是 MDL、泛化和“规律与噪声”最严格的概念底座之一。