机器学习中常见的损失函数_CDA答疑社区

热线电话：13121318867

登录

隋东芝

2020-08-18 阅读量: 943

机器学习中常见的损失函数

机器学习中常见的损失函数

　　损失函数是机器学习中常用于优化模型的目标函数，无论是在分类问题，还是回归问题，

都是通过损失函数最小化来求得我们的学习模型的。损失函数分为经验风险损失函数和结构风险损失函数。

经验风险损失函数是指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。

通常表示为：

　　

　　θ*是我们通过损失函数最小化要求得的参数，一般都是通过梯度下降法来求得

1、0-1损失函数

　　0-1损失函数的表达式如下，常见于感知机模型中，预测正确则损失为0，预测错误则损失为1：

　　

2、绝对值损失函数

　　

3、log对数损失函数　　

　　对数损失函数最常见的应用就是在逻辑回归中，其表达式如下：

　　

4、平方损失函数

　　平方损失函数常见于回归问题中，如线性回归，其表达式如下：

　　

5、指数损失函数

　　指数损失函数常见于Adaboost算法中，其表达式如下：

　　

6、Hinge损失函数

　　Hinge损失函数常见与SVM中，有点类似于0-1损失函数，不同的是对于分类错误的点，

其损失值不再是固定值1，而是和样本点离超平面的距离有关。其表达式如下;

　　

　　其中l 是hinge函数，其标准形式如下：

　　

　　除此之外还有一些不怎么常见的损失函数，比如在GBDT中的Huber损失函数等

原文：https://www.cnblogs.com/jiangxinyang/p/9251196.html

24.3398

2

2

关注作者

收藏

评论(0)

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子