Aug 23, 2026 4 min read
03. The Unreasonable Effectiveness of RNNs:一个预测下一个字符的模型为何能学出结构
文章用字符级语言建模展示循环神经网络:只训练“给定过去字符,预测下一个字符”,模型就能生成近似莎士比亚、Linux 源码和 LaTeX 的局部结构,并在隐藏单元中形成可解释的引号、行首和代码区域状态。
大模型算法、训练系统与工程实践的学习笔记。
Tag
3 essays under this label.
文章用字符级语言建模展示循环神经网络:只训练“给定过去字符,预测下一个字符”,模型就能生成近似莎士比亚、Linux 源码和 LaTeX 的局部结构,并在隐藏单元中形成可解释的引号、行首和代码区域状态。
这篇教程用图和逐项公式解释 LSTM:它把记忆状态设计成加法更新,并用遗忘、写入和输出三个门控制信息流,从而缓解普通 RNN 中反复非线性变换造成的长距离梯度消失。
论文给出一个简单规则:对深层 LSTM 的输入、层间和输出等非循环连接使用 dropout,保留时间方向的循环连接不受扰动。这样既能正则化大模型,又不在每一步反复破坏长期记忆。