热线电话：13121318867

登录
首页大数据时代带你弄清楚到底什么是合页损失函数（hinge loss function）？
带你弄清楚到底什么是合页损失函数（hinge loss function）？
2020-07-30
收藏

损失函数，loss function的定义为：将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在机器学习中，损失函数经常被当作学习准则与优化问题相联系，也就是通过最小化损失函数求解和评估模型。合页损失函数就是常见的损失函数之一，今天小编就给大家分享什么是合页损失函数。

一、合页损失函数简介

目标函数第一项为经验损失或经验风险，

就是合页损失函数hinge loss function，其中下标“+”表示以下取正值。

我们将括号中的部分用z代替：

这也就代表着，如果样本点：能够被正确分类，并且函数间隔(也就是确信度)：大于1时，那么损失就是0.否则损失就是：目标函数的第二项是系数为λ的w的L2范数，也就是是正则化项。

二、合页损失函数图像

根据上图可以看书，合页损失函数的形状就像一个合页，这也是合页损失函数名字的由来。

其中横轴表示的是函数间隔，下面我们来具体解释一下函数间隔：

1.正负

样本在被正确分类的情况下，y(wx+b)>0;

样本在被错误分类的情况下，y(wx+b)<0y。

2.大小

y(wx+b)的绝对值代表着样本距离决策边界的远近程度。y(wx+b)的绝对值越大，那也就代表着样本距离决策边界越远。

由此，我们能够得出：

如果y(wx+b)>0.那么y(wx+b)的绝对值越大，就代表着决策边界对样本的区分度越好

如果y(wx+b)<0时，那么y(wx+b)的绝对值越大，就表示决策边界对样本的区分度越差

从上图中我们可以看出，

1)0-1损失

在样本被正确分类的情况下，损失为0;在样本被错误分类的情况下，损失为1.

2)感知机损失函数

如果样本被正确分类，那么损失为0;如果样本被错误分类，那么损失就为-y(wx+b)。

3)合页损失函数

在样本被正确分类同时函数间隔大于1时，合页损失才会是0.否则损失就是1-y(wx+b)。

三、SVM的损失函数

合页损失函数又被称为max-margin objective，它最主要的应用就是作为SVM的目标函数。

在SVM支持向量机中，构造目标函数时，我们通常会选择合页损失函数作为损失函数。这也就意味着，合页损失函数不仅需要分类正确，并且确信度足够高时损失才是0.换句话说，合页损失函数对学习有更高的要求。

SVM的损失函数公式

其实，SVM的损失函数就是合页损失函数加上正则化项：

线性支持向量机原始最优化问题

等价于最优化问题

令

第二个约束条件成立

第一个约束条件成立。

两个约束条件都成立，那么最优化问题



CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试教材；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试题库；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想了解CDA院校合作，点击>>> “院校合作” 了解咨询CDA院校合作；

损失函数 SVM 支持向量机 感知机 机器学习

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇可视化工具不知道怎么选？深度评测5大python数据可视化工具
下一篇SVM算法原理是什么？如何实现？
数据分析师考试动态
CDA报考指南
数据分析学习
数据分析师资讯
更多

CDA教育闭环

常见问题

关于我们

CDA数据分析师公众号

  • CDA数据分析师公众号

CDA考试中心小程序

  • CDA考试中心服务号

CDA数据分析师App下载

  • CDA数据分析师App下载
Copyright © 2015-2021, www.cda.cn All Rights Reserved. CDA数据分析师(北京国富如荷网络科技有限公司) 版权所有 京ICP备11001960号-9 京公网安备 11010802034615号 经营许可证编号：京B2-20210330
联系电话：13321103290 (微信同号)

OK
客服在线
立即咨询
客服在线
立即咨询