机器学习-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

dreamhappy2012

随机森林算法有哪些特点？

随机森林的思想是：将若干个弱分类器（决策树）的分类结果进行投票选择，从而组成一个强分类器随机森林算法有哪些特点？具有极好的准确率,不容易过拟合（训练样本不是全部样本）能够有效地运行在大数据集上能够处理具有高维特征的输入样本，而且不需要降维，能够评估各个特征在分类问题上的重要性在生成过程中，能够获取到内部生成误差的一种无偏估计对于缺省值问题也能够获得很好的结果分类不平衡的情况时，随

30.7336

1

1

0

关注作者

收藏

dreamhappy2012

Boosting与Bagging的区别？

Boosting与Bagging的有什么区别？ 1、样本选择上：Boosting：每一轮的训练集不变，只是训练集中每个样例在分类器中的权重发生变化，而权值是根据上一轮的分类结果进行调整Bagging：训练集是在原始集中有放回选取的，从原始集中选出的各轮训练集之间是独立的2、样例权重：Boosting：根据错误率不断调整样例的权值，错误率越大则权重越大,因此Boosting的

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

集成学习——个体学习器的两种方法？

集成学习的第一个问题就是如何得到若干个个体学习器。个体学习器有哪两种方法？第一种：所有的个体学习器都是一个种类的，或者说是同质的。比如都是决策树个体学习器，或者都是神经网络个体学习器第二种：所有的个体学习器不全是一个种类的，或者说是异质的。比如我们有一个分类问题，对训练集采用支持向量机个体学习器，逻辑回归个体学习器和朴素贝叶斯个体学习器来学习，再通过某种结合策略来确定最终的分类强学习器

0.0000

0

4

0

关注作者

收藏

dreamhappy2012

集成学习思想的思想是什么呢？

通过训练若干个个体学习器，通过一定的结合策略，就可以最终形成一个强学习器。集成学习可以用于分类问题集成，回归问题集成，特征选取集成，异常点检测集成等等，可以说所有的机器学习领域都可以看到集成学习的身影。集成学习有两个主要的问题需要解决：第一是如何得到若干个个体学习器。第二是如何选择一种结合策略。将这些个体学习器集合成一个强学习器。

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

目标函数、损失函数、代价函数的区别是什么？

损失函数(Loss/Error Function): 计算单个训练集的误差针对单个样本。代价函数(Cost Function): 计算整个训练集所有损失之和的平均值指针对总体。目标函数(Objective function)，字面一些，就是有某个（最优化）目标的函数，比如最优化这个目的。没有找到定义，个人理解，目标函数是一个大类，包含损失函数、代价函数；损失函数、

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

代价函数必须是非负吗？

代价函数又叫损失函数或成本函数，用来评价模型好不好。它是将一个或多个变量的事件阈值映射到直观地表示与该事件。一个优化问题试图最小化损失函数。1. 代价函数等价于损失函数，这俩个名词是猫咪和咪猫的关系。在机器学习里，代价函数/损失函数越小，就代表了模型对训练数据拟合的越好。即最优化经验风险。2. 目标函数，通常是在代价函数最优化经验风险的基础上加入优化结构风险策略（如l2正则化）的函数表

0.0000

0

0

0

关注作者

收藏

dreamhappy2012

回归，分类，聚类的区别是什么？

回归，分类，聚类的区别：回归和分类属于有监督学习，聚类是无监督学习三者的区别在于：回归：预测数据为连续型数值。分类：预测数据为类别型数据，并且类别已知。聚类：预测数据为类别型数据，但是类别未知。

0.0000

1

2

0

关注作者

收藏

dreamhappy2012

机器学习的学习方式有哪些？

机器学习的学习方式有以下3大类：A.有监督学习，有标签（label）1.回归：预测是连续型。算法：线性回归2.分类：预测是离散型。算法：逻辑回归，神经网络,决策树，随机森林，支持向量机，贝叶斯B.无监督学习，无标签3.聚类即算法：聚类，推荐系统（关联规则，协同过滤）C: 半监督学习半监督学习是监督学习和无监督学习相结合的一种学

0.0000

0

2

0

关注作者

收藏

zxq997

对于过采样的算法的使用方法？

对于数据不均衡分布，过采样使用的smote的算法。imblearn里面提供了smote库。定义：样本不平衡会带来样本点的空间分布并不能符合真实分布，因此使用smote扩充样本集合时，并不能改变原有样本的分布的外围轮廓特征，这就意味着对分类问题中分类边界的影响比较小。简单伪代码使用：from collections import Counterfrom sklearn.datasets

0.0000

0

2

0

关注作者

收藏

zxq997

样本标签分布不均匀怎么办？

在样本抽样的过程中，有时候会因为样本标签的分布不均匀影响模型的判断。假使有1000个样本，分为2类（0,1）。样本为0的标签为：950个，样本为1的标签为：50个。这样的样本会因为样本标签为1 的数量过少而过度依赖导致过拟合。所以采取的办法有2种：过采样和欠采样。过采样：样本为1的只有50个，将在样本为1 的数据邻近找去剩余的900个样本点补全。使得样本（0,1）的数量由（950,50

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

距离度量——汉明距离定义与公式

定义：两个等长字符串s1与s2的汉明距离为：将其中一个变为另外一个所需要作的最小字符替换次数。例如: The Hamming distance between "1011101" and "1001001" is 2. The Hamming distance between "2143896" and "2233796" is 3. The Hamming d

0.0000

0

4

0

关注作者

收藏

dreamhappy2012

距离度量——余弦距离定义与公式

几何中，夹角余弦可用来衡量两个向量方向的差异；机器学习中，借用这一概念来衡量样本向量之间的差异。二维空间中向量A(x1,y1)与向量B(x2,y2)的夹角余弦公式：a两个n维样本点a(x11,x12,…,x1n)和b(x21,x22,…,x2n)的夹角余弦为：a即：a夹角余弦取值范围为[-1,1]。余弦越大表示两个向量的夹角越小，余弦越小表示两向量的夹角越大。当两个向量的

46.1538

1

4

0

关注作者

收藏

dreamhappy2012

距离度量——马氏距离定义与公式

马氏距离的引出：a上图有两个正态分布的总体，它们的均值分别为a和b，但方差不一样，则图中的A点离哪个总体更近？或者说A有更大的概率属于谁？显然，A离左边的更近，A属于左边总体的概率更大，尽管A与a的欧式距离远一些。这就是马氏距离的直观解释。概念：马氏距离是基于样本分布的一种距离。物理意义就是在规范化的主成分空间中的欧氏距离。所谓规范化的主成分空间就是利用主成分分析对一些数据进行主成分分解

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

距离度量——标准化欧氏距离

定义：标准化欧氏距离是针对欧氏距离的缺点而作的一种改进。标准欧氏距离的思路：既然数据各维分量的分布不一样，那先将各个分量都“标准化”到均值、方差相等。假设样本集X的均值(mean)为m，标准差(standard deviation)为s，X的“标准化变量”表示为：a标准化欧氏距离公式：a如果将方差的倒数看成一个权重，也可称之为加权欧氏距离(Weighted Euclidean

46.1538

1

1

0

关注作者

收藏

dreamhappy2012

距离度量——闵可夫斯基距离的定义与公式

闵氏距离不是一种距离，而是一组距离的定义，是对多个距离度量公式的概括性的表述。闵氏距离定义：两个n维变量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的闵可夫斯基距离定义为：a其中p是一个变参数：当p=1时，就是曼哈顿距离；当p=2时，就是欧氏距离；当p→∞时，就是切比雪夫距离。因此，根据变参数的不同，闵氏距离可以表示某一类/种的距离。闵氏距离，包括曼哈

46.1538

1

0

0

关注作者

收藏

dreamhappy2012

距离度量——切比雪夫距离

切比雪夫距离的定义：国际象棋中，国王可以直行、横行、斜行，所以国王走一步可以移动到相邻8个方格中的任意一个。国王从格子(x1,y1)走到格子(x2,y2)最少需要多少步？这个距离就叫切比雪夫距离。二维平面两点a(x1,y1)与b(x2,y2)间的切比雪夫距离：an维空间点a(x11,x12,…,x1n)与b(x21,x22,…,x2n)的切比雪夫距离：a

0.0000

0

4

0

关注作者

收藏

dreamhappy2012

距离度量——曼哈顿距离定义与公式

顾名思义，在曼哈顿街区要从一个十字路口开车到另一个十字路口，驾驶距离显然不是两点间的直线距离。这个实际驾驶距离就是“曼哈顿距离”。曼哈顿距离也称为“城市街区距离”(City Block distance)。二维平面两点a(x1,y1)与b(x2,y2)间的曼哈顿距离： n维空间点a(x11,x12,…,x1n)与b(x21,x22,…,x2n)的曼哈顿距离：

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

距离度量——欧式距离定义与公式

欧氏距离是最容易直观理解的距离度量方法，我们接触到的两个点在空间中的距离一般都是指欧氏距离。源于欧式空间中两点多距离。二维平面上点a(x1,y1)与b(x2,y2)间的欧氏距离: 三维空间点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离: n维空间点a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的欧氏距离（两个n维向量）：

17.0648

1

2

0

关注作者

收藏

dreamhappy2012

K最近邻的工作原理是什么？

K最近邻的工作原理：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即每一个数据与所属分类的一一对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类标签一般来说，只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

K最近邻的核心思想是什么？

K最近邻是怎么提出的？✓ k近邻法(k-nearest neighbor, k-NN)是1967年由Cover T和Hart P提出的一种基本分类与回归方法。K最近邻分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，每个样本都可以用它最接近的k个邻居来代表✓ kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本

0.0000

0

3

0

关注作者

收藏

<1…535455…69>

CDA考试动态

CDA报考指南