文章

25. Machine Super Intelligence:从 Solomonoff induction 到 AIXI 与通用智能度量

论文把 intelligence 暂定为“agent 在广泛环境中实现目标的能力”,用按 Kolmogorov complexity 加权的所有可计算环境把它形式化;Solomonoff mixture 解决被动预测,AIXI 再加 sequential decision theory 选择动作。得到的是极强但不可计算的规范性上界,不是可直接运行的 AGI 配方。

专题 Ilya Sutskever 必读材料:30 项深度导读 第 25 篇 / 共 30 篇

材料: Shane Legg,2008 博士论文 出处状态: 27 项保留清单 原始链接: vetta.org PDF 可用镜像: Stafforini PDF 馆藏记录: SONAR

一句话定位

论文把 intelligence 暂定为“agent 在广泛环境中实现目标的能力”,用按 Kolmogorov complexity 加权的所有可计算环境把它形式化;Solomonoff mixture 解决被动预测,AIXI 再加 sequential decision theory 选择动作。得到的是极强但不可计算的规范性上界,不是可直接运行的 AGI 配方。

为什么会被推荐

已知:这篇博士论文在保留清单;没有 Ilya 的逐篇理由。合理推断:它让读者看到深度学习之外的“通用学习”极限模型:如果不限算力,归纳和行动原则能否写成一个方程?它把智能、压缩、Bayes、强化学习和可计算性放在同一框架,也清楚暴露通用性与可实现性之间的鸿沟。

从归纳到行动

Solomonoff induction 给较短的生成程序更高先验,混合所有能产生观察序列的 computable semimeasures。对任何 computable data-generating measure,它有强收敛性质;代价是 halting problem 使 mixture 不可计算。

AIXI 在每个交互周期接收 observation/reward、选择 action。它以 universal mixture ξ 表示对环境的不确定性,展开未来 action–percept tree,选最大期望累计 reward 的动作。它不假设环境 Markov,也不假设对手最优,因而覆盖面极广。

Hutter 的结果包括 Pareto optimality,以及在某些存在 self-optimizing policy 的环境类中相应收敛性质。不能改写为“AIXI 在每个可计算环境都会迅速学到最优”:论文专门梳理 ergodic MDP 等条件,也讨论不存在统一快速界的负面结果。

Universal Intelligence Measure

对 reward-summable computable environments E,agent π 的度量是:

Υ(π)=Σ_{μ∈E} 2^{-K(μ)} V_μ^π = V_ξ^π。

V_μ^π 是 agent 在环境中的期望表现,简单环境权重大,复杂环境仍非零。专业棋手只在一个复杂环境高分,可能低于能适应许多简单规律的基础 learner;AIXI-style Bayes-optimal policy 最大化这个理想度量。

这一定义把智能视为外显、目标导向、跨环境的性能,不纳入主观意识或实现效率。结果依赖 reward 设计和 reference universal Turing machine;invariance theorem 只保证换机后复杂度相差常数,并不保证有限 agent 排名完全不变。

论文还有哪些原创内容

除了综述,论文建立环境类 taxonomy,补充 universal agents 在若干类中 self-optimizing 的条件;研究 computable predictors 逼近 Solomonoff 时的复杂度与 Gödel 不完备限制;提出从统计损失推导、无需手调 learning rate 的 HL(λ) temporal-difference 更新并在小型 Markov/gridworld 实验比较。最后讨论 brain simulation、evolution、理论算法等建造路线及超级智能风险。

src/ilya30/universal.py 只实现有限玩具近似:用户显式列出环境、描述长度和归一 reward,计算 Σ2^{-length}V 并比较 policies。测试展示加入专用复杂环境与通用简单环境如何改变排名。代码拒绝使用“Kolmogorov complexity”命名这些人工长度,因为真正的 K(μ) 不可计算,AIXI 未来树也未被实现。

当时与后来路线

传统 RL 在 MDP/POMDP 中用结构假设换可计算性;Bayes-adaptive MDP 对有限模型后验规划;MC-AIXI-CTW 用 context-tree weighting 与 Monte Carlo search 做有限近似。Gödel Machine、Speed Prior、Levin search 从资源约束方向逼近 universal search。No Free Lunch 在均匀任务分布下成立,而 2^{-K} 明确采用非均匀 Occam prior。

现代 foundation-model agents 以预训练分布、工具和环境反馈获得广泛能力,工程上远离全程序枚举;通用 agent benchmark、ARC、Procgen 等都可视为有限环境采样,但分布选择、泄漏和可博弈性表明 Υ 的测量难题仍在。AIXI 也不是 alignment 方案:最大化给定 reward 的能力越强,错误 reward 的风险可能越大。

优点、局限与跨领域

优点是定义极一般、假设透明、把被动归纳与主动决策统一,并提供可证明的理想比较对象。局限是核心不可计算、planning 指数爆炸、reference machine 与 reward 主观、环境先验未反映真实世界计算成本;纯行为度量可能奖励 lookup table,且对多 agent、非平稳价值、有限生命和安全约束处理不足。

它最适合作为理论标尺、benchmark 设计提醒和研究问题生成器。机器人、自动科学和软件 agent 可借“跨多环境、按复杂度/重要性加权”的评价思想,但实际测试必须限制时间、样本、能耗、安全和信息访问,否则“通用”分数没有部署含义。

阅读检查

  • Solomonoff induction 与 AIXI 分别解决被动预测和主动决策的哪一部分?
  • Υ 为什么不是一个可直接运行的 intelligence test?
  • Pareto optimal/self-optimizing 结果有哪些环境条件,为什么不等于快速普适最优?
  • 极强 reward maximizer 为什么不会自动成为安全、价值对齐的 agent?

本页目录