今天我们来盘点一下那些常见的机器学习中的损失函数有哪些。

用于计算损失的函数称为损失函数。模型每一次预测的好坏用损失函数来度量。机器通过损失函数进行学习，如果预测值与实际结果偏离较远，损失函数会得到一个非常大的值。

损失函数通常由经验风险和正则化项组成：

损失函数通常由以下几种：

平方损失函数

平方损失函数常用在最小二乘法中。它的思想是使得各个训练点到最优拟合线的距离最小(平方和最小)。平方损失函数定义如下：

对数损失函数

对于逻辑回归

逻辑回归，标签y=0y=0或y=1y=1.那么代价函数

综合起来，可以得到

这只是二分类的情况，如果是多分类，则用到Softmax，，假设有k类，对应每个类别的概率分别为：

那么损失函数为

Hinge损失函数

SVM分类器中，常常使用hinge loss函数，用来最大化“分类间隔”。加上正确类别为yy，分类间隔最小为mm，那么

其中WyXWyX为正确类别的得分，即正确类别的得分，最少要比错误类别大mm，否则Loss就不为零。