Aug 29, 2026 11 min read
CQL:离线强化学习里,先把没见过动作的虚高分压下来
惩罚数据分布外动作的高 Q 值并学习保守下界,直接处理 offline RL 的 extrapolation error。
大模型算法、训练系统与工程实践的学习笔记。
Tag
3 essays under this label.
惩罚数据分布外动作的高 Q 值并学习保守下界,直接处理 offline RL 的 extrapolation error。
把 offline RL 改写成 return-conditioned 自回归序列建模,直接连接 Transformer 与决策。
对整条轨迹建模并把 beam search 变成规划,展示生成模型与 model-based offline RL 的统一。