什么是 Dropout
Dropout 是由 Geoffrey Hinton 等人在 2012 年提出的一种正则化技术，用于防止神经网络过拟合。其核心思想是在每次训练迭代中，以一定概率 p 随机"丢弃"一部分神经元及其所有连接。
Dropout 为何有效
- ·减少神经元共适应：神经元不能依赖其他特定神经元的存在，必须自己学习更有用的特征
- ·隐式集成学习：训练过程等价于训练大量不同的子网络，推理时使用完整网络相当于对这些子网络的输出做平均
- ·正则化效果：相当于为深度神经网络引入了一种高效的贝叶斯近似
实践要点
默认保留率 p 通常设为 0.5（全连接层）或 0.8（卷积层）。推理阶段不使用 Dropout，但权重需要按保留率缩放。