Copyright © 2015-2021,
www.cda.cn
All Rights Reserved. CDA数据分析师(北京国富如荷网络科技有限公司) 版权所有
京ICP备11001960号-9
京公网安备 11010802034615号
经营许可证编号:京B2-20210330

联系电话:13321103290 (微信同号)
2020-07-03
用于计算损失的函数称为损失函数。模型每一次预测的好坏用损失函数来度量。机器通过损失函数进行学习,如果预测值与实际结果偏离较远,损失函数会得到一个非常大的值。
损失函数通常由经验风险和正则化项组成:
损失函数通常由以下几种:
平方损失函数
平方损失函数常用在最小二乘法中。它的思想是使得各个训练点到最优拟合线的距离最小(平方和最小)。平方损失函数定义如下:
对数损失函数
对于逻辑回归
逻辑回归,标签y=0y=0或y=1y=1.那么代价函数
综合起来,可以得到
这只是二分类的情况,如果是多分类,则用到Softmax,,假设有k类,对应每个类别的概率分别为:
那么损失函数为
Hinge损失函数
SVM分类器中,常常使用hinge loss函数,用来最大化“分类间隔”。加上正确类别为yy,分类间隔最小为mm,那么
其中WyXWyX为正确类别的得分,即正确类别的得分,最少要比错误类别大mm,否则Loss就不为零。
完 谢谢观看