liting李

2021-02-22   阅读量: 24

Scikit-learn 数据分析师

什么是条件熵

在某个确定条件下,另一个变量的熵,相当于在之前的基础上增加了信息,确定性会增加,熵会减小,增加了多少信息呢?其实这就是信息增益(互信息)的概念:信息量增加了多少?

信息增益:gain(X) = H(X) - H(x|y)

而且H(x|y) <= H(x)

注意:


H(x|y) 叫做条件熵,但并不是条件概率p(x|y)的熵,因为p(x|y)不是概率分布!!!

以掷硬币为例:

image.png

计算一下所有的概率和为2,并不是1,因此条件概率为1的情况是在确定一个值的情况下。

63.1579 1 0 关注作者 收藏

评论(0)


暂无数据

推荐课程

推荐帖子