首页/问答百科/损失函数
📖 基础概念

损失函数

损失函数代价函数目标函数Loss FunctionCost Function误差函数

损失函数是衡量模型预测值与真实值之间差异的定量指标,是模型训练的优化目标,通过最小化损失函数来让模型的预测越来越准确。


什么是损失函数

损失函数(Loss Function)是机器学习和深度学习中的核心概念,量化了模型预测值与真实标签之间的不一致程度,为模型优化提供了明确的优化方向——训练过程就是最小化损失函数的过程。

常见损失函数

### 回归任务

  • ·均方误差(MSE)MSE = (1/n)Σ(y - ŷ)²,对较大误差给予更高惩罚
  • ·平均绝对误差(MAE)MAE = (1/n)Σ|y - ŷ|,对异常值更鲁棒
  • ·Huber Loss:综合 MSE 和 MAE 的优点

### 分类任务

  • ·交叉熵损失(Cross-Entropy Loss):分类任务最常用的损失函数,与 Softmax 配合使用
  • ·铰链损失(Hinge Loss):支持向量机(SVM)使用的损失函数

选择原则

损失函数的选择取决于任务类型(回归/分类/生成)、数据特点(是否含异常值)、输出层设计等因素。在深度学习实践中,交叉熵损失和均方误差是最常用的两个基础损失函数。


相关术语

分享: