首页/问答百科/反向传播
📖 基础概念

反向传播

反向传播算法BP算法Backpropagation误差反向传播链式求导

反向传播是训练神经网络的核心算法,通过链式法则从输出层向输入层逐层计算损失函数对各参数的梯度,为梯度下降优化提供方向,是深度学习模型能够学习的根本原因。


什么是反向传播

反向传播(Backpropagation),简称 BP 算法,是训练人工神经网络最核心的算法。它利用微积分中的链式法则,高效地计算损失函数关于网络中每个参数的梯度,从而为参数优化提供方向信息。

工作原理

反向传播分为四个步骤:前向传播,输入数据经过网络各层逐层计算,得到预测输出;计算损失,用损失函数度量预测值与真实标签之间的差异;反向传播误差,从输出层开始,利用链式法则逐层计算梯度;更新权重,梯度下降优化器根据梯度方向调整权重。

历史与意义

反向传播算法在 1986 年由 Rumelhart、Hinton 和 Williams 等人重新推广后成为神经网络训练的标配。梯度消失和梯度爆炸是反向传播在不同层数间的经典挑战,后来通过 ReLU、残差连接、批归一化等技术得到缓解。


相关术语

分享: