机器学习-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

shauna570392

SSE(和方差)该统计参数计算的是拟合数据和原始数据对应点的误差的平方和，计算公式如下SSE越接近于0，说明模型选择和拟合更好，数据预测也越成功。

19.8781

2

0

0

关注作者

收藏

shauna570392

什么是归一化处理?

当数据（x）按照最小值中心化后，再按极差（最大值-最小值）缩放，数据移动了最小值个单位，并且会被收敛到[0，1]之间，而这个过程，就称作数据归一化（Normalization，又称Min-Max Scaling）。在sklearn当中，我们使用preprocessing.MinMaxScaler来实现这个功能。MinMaxScaler有一个重要参数，feature_range，控制我们希望把数据压

19.8781

2

4

0

关注作者

收藏

zhongxn

机器学习--K-means

K-means思维导图

13.5999

3

2

0

关注作者

收藏

cxm272965

机器学习--K近邻（KNN）算法的原理及优缺点

一、KNN算法原理　　K近邻法(k-nearst neighbors,KNN)是一种很基本的机器学习方法。　　它的基本思想是：在训练集中数据和标签已知的情况下，输入测试数据，将测试数据的特征与训练集中对应的特征进行相互比较，找到训练集中与之最为相似的前K个数据，则该测试数据对应的类别就是K个数据中出现次数最多的那个分类。　　由于KNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所

13.5999

3

3

0

关注作者

收藏

pkwwwsas

机器学习方法分类

机器学习的方法是基于数据产生的 "模型"（model）的算法，也称 "学习算法"（learning algorithm）。1.有监督学习（supervised learning）2.无监督学习（unsupervised learning）3.半监督学习（semi-supervised learning）4.强化学习（reinforcement learning）

13.7934

4

1

0

关注作者

收藏

shauna570392

knn的K值怎么达到最优?

可以使用K折交叉验证评估最合适的K值交叉验证是一个调参的过程，需要对提前给定的K值逐个去尝试，所以花费时间较长交叉验证的第一步：把训练数据进一步分成训练集和验证集。工作流程：将数据集分成K（折）段，并将每段拆分成训练集和验证集遍历所有指定的K（KNN）值对每段进行KNN模型训练将每段评估的准确率进行相加，并除以K（折），得出KNN模型为某K值时的最终准确率最终比较所

13.9043

5

3

0

关注作者

收藏

shauna570392

什么是降维?

降维是指通过保留一些比较重要的特征，去除一些冗余的特征，减少数据特征的维度。而特征的重要性取决于该特征能够表达多少数据集的信息，也取决于使用什么方法进行降维。一般情况会先使用线性的降维方法再使用非线性的降维方法，通过结果去判断哪种方法比较合适。以下几种情况会需要用到降维:1特征维度过大，可能会导致过拟合2.某些样本数据不足的情况（缺失值很多）3.特征间的相关性比较大时

13.9043

5

1

0

关注作者

收藏

gracejpw1117

1、图的定义图是一个顶点集合Vertex和一个顶点间关系的集合Edge组成，记G=(V,E) V(Vertex)：顶点的有限非空集合。 E(Edge)：顶点间关系的有限集合（边集）。存在一个结点v，可能含有多个前驱节点和后继结点。例如：2、无向图和有向图无向图在G=(V,E)中，如果对于任意的结点a,b∈V，当(a,b)∈E时，必有(b,a)∈E（即关系R对称），此图称为无向图。无向图中

18.4267

2

3

0

关注作者

收藏

赵娜0418

CART与C4.5相比有什么优势？

C4.5是基于ID3优化后产出的算法，主要优化了关于节点分支的计算方式，优化后解决了ID3分支过程中总喜欢偏向取值较多的属性。ID3是信息增益分支，而CART一般是GINI系数分支，C4.5一般是信息增益率分支。CART和C4.5之间主要差异在于分类结果上，CART可以回归分析也可以分类，C4.5只能做分类；C4.5子节点是可以多分的，而CART是无数个二叉子节点。

19.1141

5

1

0

关注作者

收藏

赵娜0418

减少特征值的方法有什么？

减少特征值的方法有：1 去掉取值变化小的特征 Removing features with low variance2 单变量特征选择 Univariate feature selection3 线性模型和正则化

1.1184

4

1

0

关注作者

收藏

shauna570392

缺失值应该如何填补进行处理？

主要看业务逻辑和缺失值占比，目标保证对预测结果影响越小越好1. 占比较多：如80%以上，删除缺失值所在列（如果对字段有特殊需求，那就删除样本，前提是样本足够多）2. 占比一般：30%-80%，将缺失值作为单独的类3. 占比少：10%-30% , 多重插补（通过特征进行相互间的预测）随机森林回归填补4. 占比较少：10%以上，单一值替换：中位数、均值、众数5. 在决策树中可以将缺失值处理融合到算法中

18.4101

2

5

0

关注作者

收藏

shauna570392

30%-80%的缺失值比例下对缺失值进行分箱处理,现在有以下问题:1.先填补再分箱,还是先分箱再填补;2.分箱是什么依据

1、先填补再分箱,还是先分箱再填补30%-80%的缺失值比例下对缺失值进行分箱处理，是直接把缺失的变量做分箱处理，不需要填补2、分箱是什么依据？

32.0767

4

3

0

关注作者

收藏

shauna570392

把相关性在0.8以下的删掉后,显著性分析(>0.05)和多重共线性(方差膨胀因子>10)还是存在,这是为什么?

相关系数的绝对值在0.3以下是无直线相关,0.3以上是直线相关,0.3-0.5是低度相关,0.5-0.8是显著相关（中等程度相关）,0.8以上是高度相关.如果大于0.8考虑有多重共线性，需要删除变量，而不是删0.8以下的

32.0767

4

1

0

关注作者

收藏

慢慢爬的Rui

- 随机森林: - 是Bagging 的一个扩展变体,每一个弱分类器都为一棵决策树且进一步在决策树的训练过程中引入随机属性选择. - 随机森林的**随机属性**体现在三个部分: ==1) 随机样本采样 2) 在进入模型训练前,对特征随机选择 3) 在每个节点,先从属性集合中选择包含$k = log_2{d}$个子集,再从这些子集中选择一个最优属性进行划分.== -

24.6788

4

2

0

关注作者

收藏

慢慢爬的Rui

朴素贝叶斯总结

对于类别P(x)来说, 朴素贝叶斯的判定准则为: 根据大数定律, 当训练集包含充足的独立分布样本,P(c) 可通过各类样本出现的频率估计 P(c) = |D(c)| / |D|, 所以问题关键为如何求出条件概率P(x|c),根据数据集的种类(离散,连续), 使用场景, 朴素贝叶斯可分为三类: (1) 高斯贝叶斯高斯贝叶斯要求数据集是连续性且符合正态分布,则条件概率P(x|c) 可由正态分布密度函数

19.1182

4

1

0

关注作者

收藏

anranhui

【机器学习】多分类学习的拆分策略

现实中常遇到多分类学习任务。有些二分类学习方法可直接推广到多分类，但在更多情形下，我们是基于一些基本策略，利用二分类学习器来解决多分类问题。所以多分类问题的根本方法依然是二分类问题。考虑N个类别C1，C2 …，CN，多分类学习的基本思路是“拆解法”即将多分类任务拆为若干个二分类任务求解。具体来说，先对问题进行拆分，然后为拆出的每个二分类任务训练一个分类器。在测试时，对这些分类器的预测结果进行集成以

29.9105

4

2

0

关注作者

收藏

陈革007

统计学: 标准分数---standard score

1. 也称标准化值2. 对某一个值在一组数据中相对位置的度量3. 可用于判断一组数据是否有离群点(outlier)4. 用于对变量的标准化处理5. 计算公式为在后续的python机器学习中,经常会用到对数据做标准化处理, 非常重要哟

25.7270

6

1

0

关注作者

收藏

shauna570392

Python中statsmodels的add_constant是什么意思

statsmodels是一个Python库，用于拟合多种统计模型，执行统计测试以及数据探索和可视化。这里用sm.add_constant函数执行最小二乘法的线性回归,添加一个截距列给Xtrain.

25.6291

4

3

0

关注作者

收藏

赵娜0418

python sklearn中predict_proba相关实现代码

predict_proba返回的是一个 n 行 k 列的数组，第 i 行第 j 列上的数值是模型预测第 i 个预测样本为某个标签的概率，并且每一行的概率和为1。predict返回对应的分类代码：# conding :utf-8 from sklearn.linear_model import LogisticRegression import numpy as np x_train =

26.0547

4

1

0

关注作者

收藏

shauna570392

Python中add_constant是什么意思

用sm.add_constant函数执行最小二乘法的线性回归,添加一个截距列给Xtrain.

25.3037

2

1

0

关注作者

收藏

<1…567…69>

CDA考试动态

CDA报考指南