2019-03-13
阅读量:
1258
什么是香农熵？
问、什么是香农熵？
香农定理
✓ 信息的度量方式称为香农熵或者简称为熵(entropy)
✓ 熵定义为信息的期望值。在信息论与概率统计中，熵是表示随机变量不确定性的度量。如果待分类的事物可能划分在多个分类之中（x1,x2,..），则符号xi的信息量定义为：
其中，p(xi)是选择该分类的概率
p(xi)越小，信息量越大
✓ 计算所有类别所有可能值包含的信息期望值(数学期望) ：
其中n是分类的数目。熵越大，随机变量的不确定性就越大
✓ 例：当随机变量的取值为两个时，熵随概率的变化曲线如下图
等概率的情况下，n越大，不确定性越大，px=1/n H越大
N固定的时候，每个概率等于1/n，H最大
0.0000
0
3
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
xmd11
2020-06-12
4条评论
xmd11
2020-06-12
0条评论
慢慢爬的Rui
2020-06-11
3条评论