Aug 23, 2026 7 min read
28. Memory-Augmented Neural Networks:把一次性学习变成“写入—检索”
这篇论文把 few-shot classification 设计成一个有外部记忆的序列任务:模型见到新样本后立即把“表示—临时标签”绑定写入记忆,再用内容寻址找回;它不靠许多步梯度更新,而靠一次 episode 内的快速状态变化完成学习。
大模型算法、训练系统与工程实践的学习笔记。
Tag
3 essays under this label.
这篇论文把 few-shot classification 设计成一个有外部记忆的序列任务:模型见到新样本后立即把“表示—临时标签”绑定写入记忆,再用内容寻址找回;它不靠许多步梯度更新,而靠一次 episode 内的快速状态变化完成学习。
Prototypical Networks 用 episodic training 学一个 embedding,在每个新任务中把某类 support embeddings 的均值当作 prototype,再按 query 到各 prototype 的距离分类。它没有内循环梯度,也没有复杂外部记忆,却以非常强的“每类形成单簇”归纳偏置得到稳定的 few-shot baseline。
Model-Agnostic Meta-Learning(MAML)不为任务手工设计记忆或度量,而是寻找一组初始化参数 theta:从这里出发,只用新任务的少量数据做一两步梯度下降,就能获得低的新任务损失。