什么是激活函数
激活函数（Activation Function）是人工神经网络中不可或缺的组成部分，作用于每个神经元的输出端。它将神经元的加权求和结果通过一个非线性变换映射到输出值，从而赋予神经网络拟合复杂非线性函数的能力。
常用激活函数
### ReLU（修正线性单元）
f(x) = max(0, x)，当前最广泛使用的激活函数。计算简单、缓解梯度消失。缺点是存在"神经元死亡"问题。
### Sigmoid
f(x) = 1 / (1 + e⁻ˣ)，将输入映射到 (0,1) 区间，适合二分类输出层。缺点是存在梯度饱和。
### Tanh（双曲正切）
f(x) = (eˣ - e⁻ˣ) / (eˣ + e⁻ˣ)，将输入映射到 (-1,1) 区间，以零为中心。
### Softmax
将向量归一化为概率分布且各项和为 1，专用于多分类任务的输出层。