Tag
rlhf
19 essays under this label.
从人类偏好微调语言模型:reward model、PPO 与 KL 约束的早期完整范式
首次把预训练语言模型、成对文本偏好奖励、KL 约束和 PPO 结合到多个自然语言任务,是语言模型 RLHF 的直接起点。
Learning to summarize from human feedback:把“人更喜欢哪篇摘要”变成语言模型的奖励
清晰展示语言模型 + 成对偏好奖励模型 + RL 能在摘要任务上超过监督微调与参考摘要,是大模型 RLHF 里程碑。
WebGPT:让语言模型浏览网页,并把人类偏好变成可优化的答案分数
把 GPT-3 放入浏览器环境,用行为克隆、偏好奖励与 rejection sampling 优化带引用回答,是 tool-use + human feedback 的早期范式。
InstructGPT:把“续写互联网文本”改造成“按人的意图办事”
把 SFT→奖励模型→PPO 三阶段 RLHF 扩展到真实而广泛的指令分布,成为现代指令对齐的标准参照。
HH-RLHF:同一个奖励怎样兼顾“有帮助”与“不伤人”
建立公开 HH-RLHF 数据与 helpfulness/harmlessness 多目标实验,系统展示在线迭代反馈、尺度效应和奖励过度优化。
Constitutional AI:用原则驱动自我修订与 AI 偏好标签
形成“宪法原则→自我批评/修订→AI 偏好→奖励模型→RL”的完整 RLAIF 范式。
RL4LMs 与 NLPO:给语言策略优化一套可比较的试验台
提供 RL4LMs 开源库、最终版七任务 GRUE 基准和 NLPO,是早期可复现语言策略优化基础设施。
DPO:把“奖励模型 + PPO”化成一次偏好分类
用 KL 约束 RLHF 的最优策略—奖励闭式关系,把奖励模型 + PPO 化为单阶段偏好分类损失。
RRHF:把候选答案按奖励排序,再让语言模型学会同样排序
用长度归一化 log-prob 排序损失取代 PPO,只需 1–2 个模型,并揭示其 best-of-n 性质。
RLAIF vs. RLHF:把偏好标注员从人换成大模型,其他环节尽量不动
在摘要、helpful 和 harmless dialogue 上直接控制比较 RLAIF 与 RLHF,并提出直接用 LLM 打分的 d-RLAIF。
KTO:不凑偏好对,也能用“好/坏”标签直接对齐
KTO 用 prospect theory 的参照点与损失厌恶从单个 desirable/undesirable 标签学习,不需要成对偏好。
SimPO:让训练奖励与生成时的平均似然对齐
用平均序列 log-prob 作隐式奖励并加入目标 margin,同时消除 reference model,成为强力 DPO 基线。
Self-Rewarding Language Models:同一个模型既作答又当裁判
让同一 LLM 同时生成并充当 judge 产生偏好,再迭代 DPO,开启自奖励/自改进对齐路线。
RewardBench:先测清“裁判”会不会判,再让策略听它的话
把 chat、hard chat、safety 和可验证 reasoning 组成统一奖励模型基准,暴露拒答偏置与推理弱点。