什么是学习率
学习率（Learning Rate，LR）是机器学习和深度学习训练过程中最重要的超参数之一。在梯度下降优化中，学习率 η 决定了每次参数更新时沿着梯度反方向迈出的步长大小。
学习率的影响
- ·学习率过大：参数更新步长过大，损失函数可能在最小值附近震荡甚至发散
- ·学习率过小：参数更新极其缓慢，训练需要大量迭代次数才能收敛
- ·学习率合适：损失函数稳步下降，在合理迭代次数内收敛到较优解
学习率调度策略
实践中很少使用固定学习率，而是采用动态调整策略：步长衰减、指数衰减、余弦退火、预热（Warm-up）、循环学习率等。
常见默认值
- ·传统神经网络：0.1 ~ 0.01
- ·深度学习（Adam 优化器）：0.001 是常用起点
- ·Transformer 类模型：通常配合预热使用，峰值约 5e-4 ~ 1e-4
- ·微调预训练模型：建议用较小学习率如 2e-5 ~ 5e-5