2021-02-22
阅读量:
799
什么是条件熵
在某个确定条件下，另一个变量的熵，相当于在之前的基础上增加了信息，确定性会增加，熵会减小，增加了多少信息呢？其实这就是信息增益(互信息)的概念：信息量增加了多少？
信息增益：gain(X) = H(X) - H(x|y)
而且H(x|y) <= H(x)
注意:
H(x|y) 叫做条件熵，但并不是条件概率p(x|y)的熵，因为p(x|y)不是概率分布！！！
以掷硬币为例:
计算一下所有的概率和为2，并不是1，因此条件概率为1的情况是在确定一个值的情况下。
63.1579
1
0
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2025-05-14
0条评论
CDA持证人阿涛哥
2024-10-29
0条评论
CDA持证人阿涛哥
2024-04-14
0条评论