Python编程-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

田齐齐

Kmeans性能评估指标轮廓系数

对于每个点𝑖 为已聚类数据中的样本，𝑏𝑖 为𝑖 到其它族群的所有样本的平均距离，𝑎𝑖 为𝑖 到本身簇的距离平均值最终计算出所有的样本点的轮廓系数平均值

20.1923

6

0

0

关注作者

收藏

读童话的狼

决策树为什么不做归一化？

因为数值缩放不影响分裂点位置，对树模型的结构不造成影响。按照特征值进行排序的，排序的顺序不变，那么所属的分支以及分裂点就不会有不同。而且，树模型是不能进行梯度下降的，因为构建树模型（回归树）寻找最优点时是通过寻找最优分裂点完成的，因此树模型是阶跃的，阶跃点是不可导的，并且求导没意义，也就不需要归一化。

0.0000

0

2

0

关注作者

收藏

田齐齐

多大数据适合用kmeans和knn算法?

答:因为kmeans和knn两个算法模型需要计算点与点之间的空间距离,所以最好用于量级较小的数据中.当然也需要考虑数据特征数的多少而定.

3.7683

5

1

0

关注作者

收藏

读童话的狼

C4.5分支时是利用的二分法吗？

当属性类型为离散型，无须对数据进行离散化处理；当属性类型为连续型，则需要对数据进行离散化处理。C4.5算法针对连续属性的离散化处理，核心思想：将属性A的N个属性值按照升序排列；通过二分法将属性A的所有属性值分成两部分（共有N-1种划分方法，二分的阈值为相邻两个属性值的中间值）；计算每种划分方法对应的信息增益，选取信息增益最大的划分方法的阈值作为属性A二分的阈值。

0.0000

0

3

0

关注作者

收藏

田齐齐

机器学习:KMeans组内距离平方和是哪个簇的？

问:KMeans组内距离平方和是哪个簇的？答:是所有簇相加的总和,

3.7683

5

0

0

关注作者

收藏

读童话的狼

决策树也是用于客户画像吗

用户画像，作为一种勾画目标用户、联系用户诉求与设计方向的有效工具，用户画像在各领域得到了广泛的应用。用户画像最初是在电商领域得到应用的，在大数据时代背景下，用户信息充斥在网络中，将用户的每个具体信息抽象成标签，利用这些标签将用户形象具体化，从而为用户提供有针对性的服务。决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价

0.0000

0

3

0

关注作者

收藏

田齐齐

机器学习:利用sklearn生成4个簇的数据

导包:import numpy as npimport matplotlib.pyplot as plt%matplotlib inlinefrom sklearn.datasets import make_blobs生成数据:# X为样本特征，Y为样本簇类别，共1000个样本，# 每个样本 2 个特征，共4个簇，# 簇中心在[-1,-1], [0,0],[1,1], [2,2

20.1923

6

5

0

关注作者

收藏

读童话的狼

决策树算法什么时候需要对变量进行分箱？

1、某些自变量类别数量较多或者区间型自变量，需要数据转换，分箱或多模型验证和测试2、决策树算法对区间型自变量进行分箱操作时，无论是否考虑了顺序因素，都有可能因为分箱丧失某些重要的信息。尤其是当分箱前的区间型变量与目标变量有明显的线性关系时，这种分箱操作造成的信息损失更为明显。

0.0000

0

3

0

关注作者

收藏

读童话的狼

在选择停止分支的时候看信息熵吗？

停止分支就是剪枝，剪枝是有很多参数的，最大树深，最大叶子节点数等，不只是看信息增益率的，可以设置信息增益小于某个值就不分支

0.0000

0

0

0

关注作者

收藏

读童话的狼

信息增益是越高越好么？

信息增益是整个数据集的经验熵与特征A对整个数据集的经验条件熵的差值，信息增益越大即经验条件熵越小，那什么情况下的属性会有极小的的经验条件熵呢？举个极端的例子，如果将身份证号作为一个属性，那么，其实每个人的身份证号都是不相同的，也就是说，有多少个人，就有多少种取值，如果用身份证号这个属性去划分原数据集，那么，原数据集中有多少个样本，就会被划分为多少个子集，这样的话，会导致信息增益公式的第二项整体为0

0.0000

0

1

0

关注作者

收藏

田齐齐

机器学习:Kmeans算法API参数说明

class sklearn.cluster.KMeans(n_clusters=8, init='k-means ', n_init=10, max_iter=300, tol=0.0001, , verbose=0, random_state=None, n_jobs=None) n_clusters: 就是K, 聚成几类 init:'k-means ', 一种选择初始中心点

3.7683

5

3

0

关注作者

收藏

田齐齐

模拟生成不均衡的数据中心点和离散程度设置

问:不均衡的数据指label为0和1的样本比例不一样那在生成不均衡数据的时候设置中心点和离散程度可以省略或者让class1和class2的中心点和离散程度完全一致吗？答:在模拟的数据集中,原则上是可以这样设置的,但用中心点和离散程度完全一致的数据集做聚类效果很差.为了将模拟确实有明显分类的数据我们一般需要设置class1和class2的中心点和离散程度.

36.3750

6

1

0

关注作者

收藏

田齐齐

分类型数据中,一般是默认1为少类，0为多类吗？

问:分类型数据中,默认1为少类，0为多类吗？答:这个并不是绝对的,但习惯上一般默认1为少类，0为多类.习惯将我们更期望被预测出来的类型标位1类

20.1988

6

1

0

关注作者

收藏

田齐齐

机器学习:对于样本不均衡的数据集应该怎样处理

模型天生会倾向于识别多数类, 但是在我们的大多数不均衡数据集中, 少类样本才是我们真正想要去识别的类别.解决方案: 1. 构建一个新的模型效果评估体系, 去评估模型对于少类样本的识别情况. - 混淆矩阵 - 精准度 - 召回率 - f1-score2. 解决数据集中的类别不均衡问题 - 采用采样法: 上采样(SOMTE采样法), 下采样 -

36.3750

6

4

0

关注作者

收藏

读童话的狼

如何更改DataFrame中某一列的名字？

df.rename(columns={'原列名'：'新列名'},inplace=True)

0.0000

0

1

0

关注作者

收藏

读童话的狼

轮廓系数如何计算的？

轮廓系数（Silhouette Coefficient），是聚类效果好坏的一种评价方式。最早由 Peter J. Rousseeuw 在 1986 提出。它结合内聚度和分离度两种因素。可以用来在相同原始数据的基础上用来评价不同算法、或者算法不同运行方式对聚类结果所产生的影响。方法：1，计算样本i到同簇其他样本的平均距离ai。ai 越小，说明样本i越应该被聚类到该簇。将ai 称为样本i的簇内不相

0.0000

0

4

0

关注作者

收藏

田齐齐

机器学习：信息熵

信息熵是用来衡量一个随机变量出现的期望值，一个变量的信息熵越大。在决策树模型中信息熵越大，表示纯度越低。

3.7748

5

0

0

关注作者

收藏

读童话的狼

k-means中随着k增大总距离平方和是越来越小吗？

随着k增大，平方和是会逐渐变小的，直到k==n时平方和为0，因为每个点都是它所在的簇中心本身。

0.0000

0

2

0

关注作者

收藏

读童话的狼

.labels_与.predict()的应用区别？

当数据量太大的时候！其实我们不必使用所有的数据来寻找质心，少量的数据就可以帮助我们确定质心了。当我们数据量非常大的时候，我们可以使用部分数据来帮助我们确认质心，剩下的数据的聚类结果，使用predict来调用。# 实例化的对象一致k_means_partdata = KMeans(n_clusters=3, random_state=10)# 隔着选取一半样本进行聚类，此处会生成3个质心

0.0000

0

1

0

关注作者

收藏

田齐齐

机器学习：决策树重要参数说明

DecisionTreeClassifier (criterion='gini', splitter='best', max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes

3.7748

5

4

0

关注作者

收藏

<1…404142…159>

CDA考试动态

CDA报考指南