什么是条件熵_CDA答疑社区

热线电话：13121318867

登录

liting李

2021-02-22 阅读量: 810

什么是条件熵

在某个确定条件下，另一个变量的熵，相当于在之前的基础上增加了信息，确定性会增加，熵会减小，增加了多少信息呢？其实这就是信息增益(互信息)的概念：信息量增加了多少？

信息增益：gain(X) = H(X) - H(x|y)

而且H(x|y) <= H(x)

注意:

H(x|y) 叫做条件熵，但并不是条件概率p(x|y)的熵，因为p(x|y)不是概率分布！！！

以掷硬币为例:

计算一下所有的概率和为2，并不是1，因此条件概率为1的情况是在确定一个值的情况下。

63.1579

1

0

关注作者

收藏

评论(0)

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子