如何简单通俗的理解交叉熵损失函数？

前面小编给大家简单介绍过损失函数，今天给大家继续分享交叉熵损失函数，直接来看干货吧。

一、交叉熵损失函数概念

交叉熵损失函数CrossEntropy Loss，是分类问题中经常使用的一种损失函数。公式为：

接下来了解一下交叉熵：交叉熵Cross Entropy，是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。在信息论中，交叉熵是表示两个概率分布p,q，其中p表示真实分布，q表示非真实分布，在相同的一组事件中，其中，用非真实分布q来表示某个事件发生所需要的平均比特数。

交叉熵的计算方式如下：

交叉熵可在机器学习中作为损失函数，p代表真实标记的分布，q则代表训练后的模型的预测标记分布，交叉熵损失函数可以衡量p与q的相似性。交叉熵作为损失函数还有一个好处是：使用sigmoid函数在梯度下降时，可以避免均方误差损失函数学习速率下降的问题，这是因为学习速率是能够被输出的误差所控制的。

二、交叉熵损失函原理

一般我们学习交叉熵损失函数是在二元分类情况下，就比如逻辑回归「Logistic Regression」、神经网络「Neural Network」等，其真实样本的标签为 [0.1]，分别表示负类和正类。模型的最后通常会经过一个 Sigmoid 函数，输出一个概率值，这个概率值反映了预测为正类的可能性：概率越大，可能性越大。

其中s是模型上一层的输出，sigmoid函数有这样的特点：s = 0 时，g(s) = 0.5; s >> 0 时，g ≈ 1.s << 0 时，g ≈ 0.显然，g(s) 将前一级的线性输出映射到[0. 1]之间的数值概率上，这里g(s)就是交叉熵公式中的模型预测输出。

预测输出也就是， Sigmoid 函数的输出，表示当前样本标签为 1 的概率：

y^=P(y=1|x)

那么，当前样本标签为 0 的概率就可以表示为：

1−y^=P(y=0|x)

从极大似然性的角度考虑，将上面两种情况进行整合：

也就是：

当真实样本标签 y = 0 时，上面式子第一项就为 1.概率等式转化为：

P(y=0|x)=1−y^

当真实样本标签 y = 1 时，上面式子第二项就为 1.概率等式转化为：

P(y=1|x)=y^

这两种情况下的概率表达式跟原来的完全相同，只是将两种情况进行了整合。

接下来我们重点看一下整合之后的概率表达式，概率 P(y|x) 越大越好。因为 log 运算并不会影响函数本身的单调性，所以 将log 函数引入P(y|x)。于是就有：

log P(y|x)=log(y^y⋅(1−y^)1−y)=ylog y^+(1−y)log(1−y^)

log P(y|x) 越大越好，反过来说也就是，只需要 log P(y|x) 的负值 -log P(y|x) 越小就可以了。引入损失函数，而且使得 Loss = -log P(y|x)即可。那么就能得到损失函数为：

如果是计算N个样本的总损失函数的情况，则只需要将N个Loss叠加起来

三、交叉熵损失函数的优缺点分析

1.使用逻辑函数得到概率，并结合交叉熵当损失函数时，当模型效果差的时，学习速度较快，模型效果好时，学习速度会变慢。

2.采用了类间竞争机制，比较擅长于学习类间的信息，但是只关心对于正确标签预测概率的准确性，而忽略了其他非正确标签的差异，从而导致学习到的特征比较散。

以上就是小编今天跟大家分享的关于交叉熵损失函数概念和原理的相关介绍，希望对于大家有所帮助。