数据挖掘-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

dreamhappy2012

牛顿法的优缺点有哪些？

问、牛顿法的优缺点有哪些？答：优点：二阶收敛，收敛速度快；缺点：牛顿法是一种迭代算法，每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂。

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

批量梯度下降法和随机梯度下降法的区别?

问、批量梯度下降法和随机梯度下降法的区别?答：批量梯度下降---最小化所有训练样本的损失函数，使得最终求解的是全局的最优解，即求解的参数是使得风险函数最小，但是对于大规模样本问题效率低下。随机梯度下降---最小化每条样本的损失函数，虽然不是每次迭代得到的损失函数都向着全局最优方向，但是大的整体的方向是向全局最优解的，最终的结果往往是在全局最优解附近，适用于大规模训练样本情况。

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

梯度下降法有哪些缺点？

问、梯度下降法有哪些缺点？答：（1）靠近极小值时收敛速度减慢，如下图所示；（2）直线搜索时可能会产生一些问题；（3）可能会“之字形”地下降。

0.0000

0

4

0

关注作者

收藏

dreamhappy2012

关于牛顿法和梯度下降法的效率对比有什么优势？

问、关于牛顿法和梯度下降法的效率对比有什么优势？答：从本质上去看，牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部

0.0000

0

1

0

关注作者

收藏

wo56565

信息增益到底怎么理解呢？

熵：表示随机变量的不确定性。条件熵：在一个条件下，随机变量的不确定性。信息增益：熵 - 条件熵在一个条件下，信息不确定性减少的程度！通俗地讲，X(明天下雨)是一个随机变量，X的熵可以算出来， Y(明天阴天)也是随机变量，在阴天情况下下雨的信息熵我们如果也知道的话（此处需要知道其联合概率分布或是通过数据估计）即是条件熵。两者相减就是信息增益！原来明天下雨例如信息熵是2，条件熵是0.01（因

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

多重填补处理缺失值的缺点？

问、多重填补处理缺失值的缺点？答：该方法是在贝叶斯理论的基础上，然后用EM算法来实现对缺失值进行处理的算法，分为三个步骤： •为每个空值产生一套可能的填补值，这些值反映了无响应模型的不确定性；每个值都被用来填补数据集中的缺失值，产生若干个完整数据集合。•每个填补数据集合都用针对完整数据集的统计方法进行统计分析。•对来自各个填补数据集的结果进行综合，产生最终的统计推断，这一推断考虑到了由于

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

期望值最大化方法处理缺失值有什么有缺点？

问、期望值最大化方法处理缺失值有什么有缺点？答：EM算法是一种在不完全数据情况下计算极大似然估计或者后验分布的迭代算法。在每一迭代循环过程中交替执行两个步骤：E步（Excepctaion step,期望步），在给定完全数据和前一次迭代所得到的参数估计的情况下计算完全数据对应的对数似然函数的条件期望；M步（Maximzation step，极大化步），用极大化对数似然函数以确定参数的值，并用

9.3729

1

5

0

关注作者

收藏

dreamhappy2012

回归填充法处理缺失值适用于哪些方面？

问、回归填充法处理缺失值适用于哪些方面？答：基于完整的数据集，建立回归方程。对于包含空值的对象，将已知属性值代入方程来估计未知属性值，以此估计值来进行填充。缺点：由于两个对象建立回归来填充，会让对象之间的相关性变大。可能会影响最终模型的训练。

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

使用组合完整化方法处理缺失值的优缺点？

问、使用组合完整化方法处理缺失值的优缺点？答：用空缺属性值的所有可能的属性取值来试，并从最终属性的约简结果中选择最好的一个作为填补的属性值。一般可用于存在有限个属性的对象。优点：这是以约简为目的的数据补齐方法，能够得到好的约简结果；缺点：当数据量很大或者遗漏的属性值较多时，其计算的代价很大。

10.7653

1

1

0

关注作者

收藏

dreamhappy2012

K最近距离邻法怎么处理缺失值？

问、K最近距离邻法怎么处理缺失值？答：由K最近邻分类算法（KNN）演化而来，KNN算法不仅可以用于分类，还可以用于回归。通过找出一个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。现在更为科学的是将不同距离的邻居对该样本产生的影响给予不同的权值(weight)，如权值与距离成反比。　优点：得到的缺失值较为科学，准确；缺点：当样本不平衡时，会导致新样本的K个邻

9.3729

1

1

0

关注作者

收藏

dreamhappy2012

什么是热卡填充缺失值？

问、什么是热卡填充缺失值？答：对于一个包含空值的对象，热卡填充的做法是：在完整数据中找到一个与它最相似的对象，然后用这个相似对象的值来进行填充。不同的问题可能会选用不同的标准来对相似进行判定。最常见的是使用相关系数矩阵来确定哪个变量（如变量Y）与缺失值所在变量（如变量X）最相关。然后把所有变量按Y的取值大小进行排序。那么变量X的缺失值就可以用排在缺失值前的那个变量Y的数据来代替了。优点：概

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

人工填写缺失值的方法有哪些优缺点？

问、人工填写缺失值的方法有哪些优缺点？答：优点：产生数据偏离最小，用在小型数据上可能是填充效果最好的一种；缺点：非常费时，当数据规模很大、空值很多的时候，该方法是不可行的。

9.3729

1

2

0

关注作者

收藏

dreamhappy2012

批量梯度下降算法（BGD）的优缺点？

问、批量梯度下降算法（BGD）的优缺点？答：批量梯度下降算法：每一次迭代使用全部的样本优点：能达到全局最优解（凸函数情况下），易于并行实现缺点：当样本数目很多时，训练过程缓慢

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

梯度下降法分类有哪些？

问、梯度下降法分类有哪些？答： 批量梯度下降算法（BGD，Batch gradient descent algorithm） 随机梯度下降算法（SGD，Stochastic gradient descent algorithm） 小批量梯度下降算法（MBGD，Mini-batch gradient descent algorithm）

17.9321

1

2

0

关注作者

收藏

dreamhappy2012

梯度下降的算法调优过程？

问、梯度下降的算法调优过程？答：算法的步长选择算法参数的初始值选择归一化（对X归一化，y不需要归一化）

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

梯度方向的计算的步骤？

问：梯度方向的计算的步骤？答：对于每一个向量θ的每一维分量θj，我们都可以求出梯度的方向，也就是误差函数J(θ)下降最快的方向阿法尔是学习率，在最优化问题中叫步长，在神经网络中叫学习速率。 ✓ 参数的迭代：

0.0000

0

4

0

关注作者

收藏

dreamhappy2012

什么是梯度以及怎么定义梯度的方向？

问：什么是梯度以及怎么定义梯度的方向？✓ 设函数z=f(x,y)在点P(x,y)的某一邻域U(P)内有定义，自点P引射线l到点P'(x Δx,y Δy)且P'∈U(P)，如下图所示 ✓ 定义函数z=f(x,y)在点P沿方向l的方向导数为： ✓ 方向导数可以理解为，函数z=f(x,y)沿某个方向变化的速率。函数z=f(x,y)在点P沿哪个方向增加的速度最快？这个方向就是梯度的方向

17.9321

1

7

0

关注作者

收藏

dreamhappy2012

什么是梯度下降法？

问、什么是梯度下降法？答：梯度下降法（Gradient descent）是使得代价函数达到最小的经典方法之一在机器学习算法中，在最小化损失函数时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数，和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。梯度下降法和梯度上升法是可以互相转化的。比如我们需要求解损失函数f(θ)的最小值，这时

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

线性回归中误差分布有哪些特征？

问、线性回归中误差分布有哪些特征？答：✓ 误差：真实值和预测值之间的差异：ε✓ 对于每个样本：预测值误差=真实值✓ 误差ε（i）是独立并且具有相同的分布，服从均值为0，方差为σ2 的高斯分布。为什么独立同分布：每个样本是独立的，并且分布相同自然界中的大部分分布都是高斯分布例： 独立：张三和李四同时贷款，互相没关系 同分布：都是来自同一家银行贷款 高斯分布：银

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

什么是回归分析？

问、什么是回归分析？答：✓ 回归：统计学分析数据的方法，目的在于了解两个或多个变量间是否相关、研究其相关方向与强度，并建立数学模型以便观察特定变量来预测研究者感兴趣的变量相关包括：正相关，负相关，不相关✓ 回归分析可以帮助人们了解在自变量变化时因变量的变化量。一般来说，通过回归分析我们可以由给出的自变量估计因变量的条件期望Y因变量，x自变量 y=kx b 因为x的变化导致y变化

0.0000

0

2

0

关注作者

收藏

<1…678…17>

CDA考试动态

CDA报考指南