基本概念
决策树是分类算法。
数据类型:数值型和标称型。因为构造算法只适用于标称型,所以数值型数据必须离散化。
工作原理
利用香浓熵找到信息增益最大的特征,按照信息增益最大的特征划分数据,如此反复,让无序的数据变的更加有序。使用ID3算法构建树结构。当传入一个新数据时,按照数据找到对应树节点,直到最后没有叶子节点时,完成分类。
样例
不浮出水面是否可以生存? 是否有脚蹼? 是否是鱼类?
通过“不浮出水面是否可以生存”和“是否有脚蹼”这两个特征来判断是否是鱼类。构建一个简单决策树,如果得到一个新的生物,可以用此来判断是否是鱼类。
样例代码
def createDataSet():
dataSet = [[1, 1, 'yes'],
[1, 1, 'yes'],
[1, 0, 'no'],
[0, 1, 'no'],
[0, 1, 'no']]
labels = ['no surfacing','flippers'] return dataSet, labels
香农熵公式
如果待分类的事务可能划分在多个分类之中,则符号Xi的信息定义为:
其中P(Xi)是选择该分类的概率
为了计算熵,需要计算所有类别所有可能值包含的信息期望值总和,公式为:
其中n是分类的数目
香农熵算法
def calcShannonEnt(dataSet):
# 选择该分类的概率 就是每个类型/总个数
# 总数,多少行数据
numEntries = len(dataSet)
labelCounts = {} # 取到的每个类型个数
for featVec in dataSet:
currentLabel = featVec[-1] if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0
labelCounts[currentLabel] += 1
shannonEnt = 0.0
for key in labelCounts: # 得到选择该分类的概率
prob = float(labelCounts[key])/numEntries # 按照公式
shannonEnt -= prob * log(prob,2) #log base 2
return shannonEnt
按照香农熵划分数据
除了需要测量信息熵,还需要划分数据集,度量花费数据集的熵,以便判断当前是否正确划分。 循环计算香浓熵和splitDataSet(),找到最好的特征划分方式。
def splitDataSet(dataSet, axis, value):
# 这个算法返回axis下标之外的列
retDataSet = [] for featVec in dataSet: if featVec[axis] == value:
reducedFeatVec = featVec[:axis] #chop out axis used for splitting
reducedFeatVec.extend(featVec[axis+1:])
retDataSet.append(reducedFeatVec) return retDataSetdef chooseBestFeatureToSplit(dataSet):
# 先取最后一列,用在标签结果:是鱼或不是鱼。
numFeatures = len(dataSet[0]) - 1
# 原始香浓熵
baseEntropy = calcShannonEnt(dataSet)
bestInfoGain = 0.0; bestFeature = -1
# 遍历所有的特征
for i in range(numFeatures): # 创建一个列表包含这个特征的所有值
featList = [example[i] for example in dataSet] # 利用set去重
uniqueVals = set(featList)
newEntropy = 0.0
# 计算该特征所包含类型的香浓熵之和
for value in uniqueVals:
subDataSet = splitDataSet(dataSet, i, value)
prob = len(subDataSet)/float(len(dataSet))
newEntropy += prob * calcShannonEnt(subDataSet) # 得到信息增益
infoGain = baseEntropy - newEntropy # 取最大的信息增益,并记录下标
if (infoGain > bestInfoGain):
bestInfoGain = infoGain
bestFeature = i # 返回下标
return bestFeature
数据集需要满足一定的要求:
数据必须是一种有列表元素组成的列表。(二维数组)
所有列表元素必须有相同长度。
最后一列必须是当前实例的标签。
递归构建决策树
多数表决算法
如果数据集已经处理了所有属性,但是类标签依然不是唯一的,此时需要决定如何定义该叶子节点,在这种情况下,我们通常会采用多数表决决定该叶子节点。
import operator def majorityCnt(classList):
# 排序取出种类最多的
classCount={} for vote in classList: if vote not in classCount.keys(): classCount[vote] = 0
classCount[vote] += 1
sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True) return sortedClassCount[0][0]
构建树算法
def createTree(dataSet,labels):
# 取出结果
classList = [example[-1] for example in dataSet] # 如果结果里的第一个元素所代表的数据个数等于结果本身,说明没有其他分类了
if classList.count(classList[0]) == len(classList):
return classList[0] # 如果没有更多数据了,超过一个才有分类的意义
if len(dataSet[0]) == 1: # 多数表决,返回出现次数最多的
return majorityCnt(classList) # 选出最适合用于切分类型的下标
bestFeat = chooseBestFeatureToSplit(dataSet) # 根据下标取出标签
bestFeatLabel = labels[bestFeat] # 构建树
myTree = {bestFeatLabel:{}} # 删除取出过的标签,避免重复计算
del(labels[bestFeat])
featValues = [example[bestFeat] for example in dataSet] # 利用set去重
uniqueVals = set(featValues) for value in uniqueVals: # 复制所有的子标签,因为是引用类型,以避免改变原始标签数据
subLabels = labels[:] # 递归的构建树
myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, bestFeat, value),subLabels) return myTree
使用决策树分类
def classify(inputTree,featLabels,testVec):
firstStr = inputTree.keys()[0]
secondDict = inputTree[firstStr]
featIndex = featLabels.index(firstStr) # print 'featIndex %s' % (featIndex)
key = testVec[featIndex] # print 'key %s' % (key)
valueOfFeat = secondDict[key] if isinstance(valueOfFeat, dict):
classLabel = classify(valueOfFeat, featLabels, testVec) else: classLabel = valueOfFeat return classLabel
dataSet, labels = createDataSet()
mytree = createTree(dataSet, labels[:]) #因为内部会删除labels里的值所以用这样copy一份 print mytree # {'no surfacing': {0: 'no', 1: {'flippers': {0: 'no', 1: 'yes'}}}}print classify(mytree, labels, [0,1])
no
决策树的存储
构造决策树是耗时的任务,即使处理很小的数据集。所以我们可以使用构造好的决策树。
def storeTree(inputTree,filename):
import pickle
fw = open(filename,'w')
pickle.dump(inputTree,fw)
fw.close()def grabTree(filename):
import pickle
fr = open(filename) return pickle.load(fr)
优点
计算复杂度不高
输出结果易于理解
对中间值缺失不敏感
可以处理不相关特侦
缺点
可能产生过度匹配问题
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14