文章
强化学习数学地基与 MDP
用概率、期望、log-derivative trick、return、value 与 Bellman 方程建立大模型 RL 的共同语言。
专题 大模型强化学习:从零到面试 第 2 篇 / 共 14 篇
1. 强化学习与监督学习差在哪里
监督学习给定固定样本 ,优化预测与标签的差。强化学习面对的是:模型的动作会改变后续看到的数据,反馈可能延迟,数据分布还会随着策略更新而改变。
三个差别最重要:
- 序列性:今天的 action 会改变明天的 state;
- 信用分配:最后成功,到底应该奖励前面哪一步;
- 分布依赖策略:训练数据 来自 ,参数变了,数据分布也变。
这也是为什么大模型 RL 不能只被理解成“换了一个 loss”。
2. 概率与期望的最低准备线
2.1 条件概率与轨迹概率
在有限时域 MDP 中,轨迹
的概率可写为
是初始状态分布, 是环境转移,只有策略 依赖模型参数。
2.2 log-derivative trick
若 :
因此
这一步把“对采样分布求导”变成“对 log-prob 求导”,是 REINFORCE、PPO、GRPO 的共同地基。
2.3 importance sampling
当样本来自旧分布 ,却想估计新分布 下的期望:
比率 能校正分布差异,但比率极端时方差会很大。PPO 的 ratio 与 clipping、异步 RL 的 policy lag,都从这里来。
3. MDP 五元组
马尔可夫决策过程写作
- :状态空间;
- :动作空间;
- :转移概率;
- :即时奖励;
- :折扣因子。
马尔可夫性质不是“未来与过去无关”,而是给定当前 state 后,过去不再为预测下一状态提供额外信息:
如果 state 没有包含完成决策所需的信息,问题实际是 POMDP。LLM Agent 的有限上下文、压缩记忆和不可见用户状态都可能造成部分可观测。
4. reward、return 与 discount
即时奖励是 ;从 开始的折扣回报是
不要混淆:
- reward:某一步收到的标量;
- return:未来 reward 的累计;
- value:在某策略下 return 的期望;
- advantage:某 action 相对当前 state 平均水平好多少。
在有限长度的 LLM 回答中,任务 reward 常只在末尾给,工程上又常用 。这不代表 discount 没用:多轮 Agent 可能需要偏好更快完成、处理无限或很长 horizon,并降低远期估计方差。
5. policy、value、Q 与 advantage
策略:
状态价值:
动作价值:
优势函数:
直觉:reward 说“最终得了 1 分”;advantage 说“在这个状态下,这个动作比策略平均动作好多少”。这正是面试里“reward 和 advantage 有什么区别”的完整答案。
6. Bellman 方程
Bellman expectation equation:
Bellman optimality equation:
Bellman 方程的核心不是背公式,而是“一步 reward + 下一状态的价值”。动态规划、TD、Q-learning、critic 都是不同形式的 Bellman backup。
7. 两步数值例子
假设一条轨迹奖励为 ,,终点后价值为 0:
从后往前递推比为每个位置重复求和更稳定,也对应代码中的 reverse scan。
8. LLM 的 MDP 建模
单轮生成
- ;
- ;
- 是 next-token distribution;
- trajectory 是完整 completion;
- reward 可由 RM、规则或 verifier 在终点给出。
多轮工具 Agent
更合理的 state 包括:用户目标、已生成上下文、工具列表、工具结果、环境状态、剩余预算。action 可以在两个粒度定义:
- token-level:每个 token 一个 action,适合反向传播;
- turn/step-level:一次 reasoning + tool call 一个 action,适合环境建模和 credit assignment。
两个粒度需要映射,不能假设 trajectory reward 自动等于每个 token 的真实贡献。
9. 高频误区
- “MDP 的 state 就是模型输入 token”:单轮近似可以;Agent 中还应包含外部环境状态和工具反馈。
- “reward 越密越好”:密集代理 reward 可能更容易被 hack,且标注或 judge 本身有偏差。
- “ 越大越好”:大 重视远期但提高估计方差,也可能强化拖延。
- “advantage 就是 reward normalization”:advantage 是相对 baseline 的价值差;标准化只是估计和优化技巧。
- “语言模型不是 RL,因为环境不变”:策略生成的数据分布会变;Agent 环境还会显式转移。
10. 本章验收
闭卷完成:
- 写出 MDP 五元组和轨迹概率;
- 解释 state 与 observation;
- 从 推出 score-function estimator;
- 解释 reward、return、value、Q、advantage;
- 计算三步 discounted return;
- 把普通 LLM 和工具 Agent 分别写成 MDP。
基础入口可参考 Sutton 与 Barto 的教材及 OpenAI Spinning Up 的概念导读。Sutton–Barto、Spinning Up
原始讲义与可运行材料:GitHub 源文件。