2020-12-08
阅读量:
1612
信息熵在决策树算法的作用
问：
信息熵在决策树算法的作用
答：
信息熵(entropy)是度量样本集合纯度最常用的一种指标：
Pk表示的是当前样本集合D中第k类样本所占的比例为Pk，Ent(D)的值越小，则D的纯度就越高。
在信息论与概率统计中，熵是表示随机变量不确定性的度量。这里我们使用的熵，也叫作香农熵，这个名字来源于信息论之父克劳德香农。
为了计算熵，我们需要计算所有类别所有可能值包含的信息期望值(数学期望)，即上述公式。对于二分类问题，如果p1= 1而p2 =0，则所有的实例都属于Ci类，熵为0。如果p1 =p2=0.5，熵为1。
73.0517
1
0
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2024-10-15
0条评论
CDA持证人阿涛哥
2024-04-17
1条评论
CDA138749
2024-04-01
0条评论