什么是损失函数
损失函数(Loss Function)是机器学习和深度学习中的核心概念,量化了模型预测值与真实标签之间的不一致程度,为模型优化提供了明确的优化方向——训练过程就是最小化损失函数的过程。
常见损失函数
### 回归任务
- ·均方误差(MSE):
MSE = (1/n)Σ(y - ŷ)²,对较大误差给予更高惩罚 - ·平均绝对误差(MAE):
MAE = (1/n)Σ|y - ŷ|,对异常值更鲁棒 - ·Huber Loss:综合 MSE 和 MAE 的优点
### 分类任务
- ·交叉熵损失(Cross-Entropy Loss):分类任务最常用的损失函数,与 Softmax 配合使用
- ·铰链损失(Hinge Loss):支持向量机(SVM)使用的损失函数
选择原则
损失函数的选择取决于任务类型(回归/分类/生成)、数据特点(是否含异常值)、输出层设计等因素。在深度学习实践中,交叉熵损失和均方误差是最常用的两个基础损失函数。