策略梯度是 PPO、GRPO 和多数 LLM 在线 RL 的共同祖先。本章目标是让你能从期望回报推到实际 loss,而不是直接背 PPO 公式。
1. 为什么直接优化 policy
价值方法先学 Q,再用 argmaxaQ(s,a) 选动作。在 LLM 中,动作是整个词表,策略本身已经是一个可微概率分布,直接提高高回报 token 的概率更自然。
定义目标:
J(θ)=Eτ∼pθ(τ)[R(τ)].
利用 log-derivative trick:
∇θJ=τ∑∇θpθ(τ)R(τ)=Eτ∼pθ[R(τ)∇θlogpθ(τ)].
环境转移不依赖 θ,所以
∇θlogpθ(τ)=t∑∇θlogπθ(at∣st).
得到 REINFORCE 形式:
∇θJ=E[t∑∇θlogπθ(at∣st)Gt].
做梯度下降时常写 loss:
LPG=−Et[logπθ(at∣st)A^t].
2. 为什么可以减 baseline
对只依赖 state、不依赖当前 action 的 b(s):
Ea∼π[b(s)∇θlogπθ(a∣s)]=b(s)∇θa∑πθ(a∣s)=0.
所以用 Gt−b(st) 不改变期望梯度,却能降方差。最常见 baseline 是 Vπ(st),此时得到 advantage。
错误说法是“baseline 必须是奖励均值”。它可以是 value model、组内均值、leave-one-out 均值等;关键是不能以破坏无偏性的方式依赖当前 action。
3. REINFORCE 的问题
- 必须采完整轨迹才能得到 Gt;
- 长轨迹和稀疏 reward 方差高;
- 每个 token 常共享相近的终局信号,credit 粗糙;
- on-policy 数据昂贵,更新一次后很快过期。
它的优点也很重要:结构简单、无需 critic,RLOO、REINFORCE++、GRPO 等都在重新探索 critic-free 路线。
4. Actor-Critic
- Actor:策略 πθ,决定动作;
- Critic:Vϕ(s) 或 Qϕ(s,a),估计回报/优势。
Actor loss:
Lactor=−Et[logπθ(at∣st)A^t].
Critic loss:
Lvalue=21Et(Vϕ(st)−V^ttarget)2.
critic 不等于 reward model:
| 模型 | 输入 | 输出 | 训练目标 | 是否随策略状态变化 |
|---|
| Reward Model | prompt + 完整/部分回答 | 偏好或质量分 | 人类/AI 比较数据 | 通常在一轮 RL 中冻结 |
| Value/Critic | 当前 state/前缀 | 从此继续的期望 return | rollout return/TD target | 要跟当前策略共同更新 |
RM 判断“这条回答总体有多好”;critic 估计“从这个前缀继续,当前策略平均能拿多少分”。
5. GAE
TD residual:
δt=rt+γV(st+1)−V(st).
Generalized Advantage Estimation:
A^tGAE(γ,λ)=l=0∑T−t−1(γλ)lδt+l.
反向递推:
A^t=δt+γλ(1−dt)A^t+1,
dt=1 表示 episode 在该步终止,必须截断跨 episode 传播。
λ 的直觉
- λ=0:只用一步 TD residual,更依赖 critic,方差低、bias 可能高;
- λ→1:接近 Monte Carlo advantage,bias 低、方差高;
- γ 控制远期 reward 权重,λ 控制多步 TD residual 的混合。
不要回答“λ 越大越准确”。critic 误差、轨迹长度和 reward 噪声共同决定最优点。
6. GAE 数值例子
设 γ=1,λ=0.5,两步奖励 r=[0,1],价值 V=[0.2,0.6,0],第二步终止:
δ1=1+0−0.6=0.4,
δ0=0+0.6−0.2=0.4.
反向计算:
A^1=0.4,
A^0=0.4+0.5×0.4=0.6.
如果漏掉 done mask,下一条样本的 advantage 会串进来,是常见实现 bug。
7. on-policy、off-policy 与 ratio
on-policy:采样数据的行为策略与要优化的目标策略相同或足够接近。off-policy:数据来自其他策略或更旧版本。
PPO 一般称 on-policy,但同一批 rollout 会做多轮 minibatch update,因此新旧策略逐渐分离;importance ratio 用于校正:
rt(θ)=πold(at∣st)πθ(at∣st)=exp(logπθ−logπold).
异步 LLM RL 中,rollout engine 可能还在用更旧权重 πrollout。要明确:
- πθ:正在训练的当前策略;
- πold:生成该训练 batch 或冻结 ratio denominator 的策略快照;
- πrollout:推理引擎实际采样策略,理想上与 old 同步,异步时可能滞后;
- πref:KL 参考模型,通常长期冻结。
8. entropy 与 exploration
策略熵:
H(π(⋅∣s))=−a∑π(a∣s)logπ(a∣s).
训练目标可加 +cHH(若最大化 objective)鼓励探索。LLM RL 中需同时观察 token entropy、答案多样性、正确率、格式率和长度;只追 entropy 会产生胡言乱语,只压 entropy 会过早坍缩。
9. 常见实现细节
- response mask:prompt、padding、工具 observation 通常不参与 policy loss;
- advantage detach:估计出的 advantage 不应反传进 reward/critic 路径,除非算法明确如此;
- normalization:batch whitening 会改变梯度尺度,要记录统计口径;
- sequence length:按 token 平均与按序列平均给长回答不同权重;
- EOS/truncation:自然结束、环境终止和 max-token 截断要区分。
10. 本章验收
- 从轨迹概率推到 REINFORCE;
- 证明 action-independent baseline 不改变期望梯度;
- 区分 RM 与 critic;
- 从后向前计算一条 GAE;
- 解释 γ 与 λ 的不同角色;
- 区分 πθ,πold,πrollout,πref;
- 说明 PPO 为什么仍可能产生 off-policy/policy-lag 问题。
原始讲义与可运行材料:GitHub 源文件。