2020-10-22
阅读量:
2308
tree. DecisionTreeClassifier()的Criterion参数选择“entropy”还是“gini”？
问：
tree. DecisionTreeClassifier()的Criterion参数选择“entropy”还是“gini”？
答：
criterion 这个参数是用来决定不纯度的计算方法。 sklearn 提供了两种选择：
l 输入 “entropy”，使用信息熵（Entropy）
l 输入 “gini”，使用基尼系数（Gini Impurity）
比起基尼系数， 信息熵对不纯度更加敏感，对不纯度的惩罚最强。但是在实际使用中，信息熵和基尼系数的效果基本相同。
但是信息熵的计算比基尼系数缓慢一些，因为基尼系数的计算不涉及对数。
另外，因为信息熵对不纯度更加敏感，所以信息熵作为指标时，决策树的生长会更加 ”精细”，因此对于高纬数据或者噪声很多的数据，信息熵很容易过拟合，基尼系数在这种情况下效果往往比较好。
当模型拟合程度不足时，即当模型在训练集和测试集上都表现不太好的时候，使用
信息熵。当然，这些不是绝对的。
59.8700
1
0
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2023-10-23
0条评论
CDA持证人阿涛哥
2023-10-23
0条评论
nigel
2023-08-16
0条评论