Aug 23, 2026 4 min read
07. Pointer Networks:让输出词表随输入一起变化
普通 seq2seq 从固定词表生成符号;Pointer Network 把注意力分布直接当作输出分布,因此每一步输出的是“输入中的第几个元素”。输出类别数自然随输入长度变化。
大模型算法、训练系统与工程实践的学习笔记。
Tag
2 essays under this label.
普通 seq2seq 从固定词表生成符号;Pointer Network 把注意力分布直接当作输出分布,因此每一步输出的是“输入中的第几个元素”。输出类别数自然随输入长度变化。
早期 seq2seq 把整条源句压进一个固定长度向量。Bahdanau attention 改为保存每个源位置的双向表示,并让 decoder 在生成每个目标词时,学习一组对齐权重、加权读取所需内容。对齐不再是外部流水线或离散隐变量,而是可端到端训练的软寻址。