什么是反向传播
反向传播(Backpropagation),简称 BP 算法,是训练人工神经网络最核心的算法。它利用微积分中的链式法则,高效地计算损失函数关于网络中每个参数的梯度,从而为参数优化提供方向信息。
工作原理
反向传播分为四个步骤:前向传播,输入数据经过网络各层逐层计算,得到预测输出;计算损失,用损失函数度量预测值与真实标签之间的差异;反向传播误差,从输出层开始,利用链式法则逐层计算梯度;更新权重,梯度下降优化器根据梯度方向调整权重。
历史与意义
反向传播算法在 1986 年由 Rumelhart、Hinton 和 Williams 等人重新推广后成为神经网络训练的标配。梯度消失和梯度爆炸是反向传播在不同层数间的经典挑战,后来通过 ReLU、残差连接、批归一化等技术得到缓解。