cda

数字化人才认证

您的位置:首页 > 大数据时代 > 常见的机器学习中损失函数有哪些?

常见的机器学习中损失函数有哪些?

2020-07-03

今天我们来盘点一下那些常见的机器学习中的损失函数有哪些。

用于计算损失的函数称为损失函数。模型每一次预测的好坏用损失函数来度量。机器通过损失函数进行学习,如果预测值与实际结果偏离较远,损失函数会得到一个非常大的值。

损失函数通常由经验风险和正则化项组成:

损失函数通常由以下几种:

平方损失函数

平方损失函数常用在最小二乘法中。它的思想是使得各个训练点到最优拟合线的距离最小(平方和最小)。平方损失函数定义如下:

对数损失函数

对于逻辑回归

逻辑回归,标签y=0y=0或y=1y=1.那么代价函数

综合起来,可以得到

这只是二分类的情况,如果是多分类,则用到Softmax,,假设有k类,对应每个类别的概率分别为:

那么损失函数

Hinge损失函数

SVM分类器中,常常使用hinge loss函数,用来最大化“分类间隔”。加上正确类别为yy,分类间隔最小为mm,那么

其中WyXWyX为正确类别的得分,即正确类别的得分,最少要比错误类别大mm,否则Loss就不为零。

完 谢谢观看

展开阅读全文
分享
收藏

OK