RNN 简介
循环神经网络（Recurrent Neural Network, RNN）是一类具有循环连接的神经网络，专门设计用于处理序列数据（文本、语音、时间序列等）。与普通前馈网络不同，RNN 维护一个隐藏状态 h_t，在每个时间步接收当前输入 x_t 和上一时刻隐藏状态 h_{t-1}，输出当前预测。
核心特点
- ·参数共享：所有时间步使用相同的权重矩阵，使模型能处理变长序列
- ·时序依赖性：隐藏状态理论上可以捕获任意长度的历史信息
- ·展开计算：训练时按时间展开为深度前馈网络，使用 BPTT 算法
局限性
梯度消失和梯度爆炸是 RNN 的主要问题。这一缺陷催生了 LSTM 和 GRU，它们通过门控机制有效缓解了梯度问题。2017 年 Transformer 提出后，由于并行计算优势，Transformer 逐渐取代 RNN/LSTM 成为 NLP 的主流架构。但 RNN 在低延迟推理、流式数据处理等场景仍有应用。