机器学习-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

dreamhappy2012

用训练好的模型来预测未知数据的时候发现有较大的误差怎么办？

问、用训练好的模型来预测未知数据的时候发现有较大的误差怎么办？答：1.获得更多的训练实例——通常是有效的，但代价较大，下面的方法也可能有效，可考虑先采用下面的几种方法。2.尝试减少特征的数量3.尝试获得更多的特征4.尝试增加多项式特征5.尝试减少归一化程度λ6.尝试增加归一化程度λ

20.8975

1

1

0

关注作者

收藏

dreamhappy2012

关于过拟合的介绍？

问、关于过拟合的介绍？答：过拟合：当学习器把训练样本学得“太好了”的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会有的一般性质，这样就会导致泛化性能下降。相反则称为欠拟合。注意：我们必须认识到过拟合是无法避免的，我们所能做的只是“缓解”，或者说减小其风险。关于这一点，可大致这样理解：机器学习面临的问题是NP难甚至更难，而有效的学习算法必然在多项式时间内运行完成，若可避免过拟合

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

关于误差的几个概念？

问、关于误差的几个概念？答：通常我们把分类错误的样本总数的比例称为错误率（error rate），即如果在m个样本中有a个样本分类错误，则错误率E=a/m;相应的，1-a/m称为”精度”(accuracy),更一般的，我们把学习器的实际预测输出与样本的真实输出之间的差异称为“误差”,学习器在训练集上的误差称为“训练误差”或“经验误差”，在新样本上的误差称为“泛化误差”。

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

ROC曲线与代价曲线的对应关系是什么？

问、ROC曲线与代价曲线的对应关系是什么？答：ROC曲线的点对应了一对（TPR,FPR），即一对（FNR,FPR），由此可得一条代价线段（0,FPR)–(1,FNR），由所有代价线段构成簇，围取期望总体代价和它的边界–代价曲线。所以说，ROC对应了一条代价曲线，反之亦然。

0.0000

0

4

0

关注作者

收藏

dreamhappy2012

错误率与ROC曲线有什么关系？

问、错误率与ROC曲线有什么关系？答：ROC曲线每个点对应了一个TPR与FPR，此时对应了一个错误率。学习器会选择错误率最小的位置作为截断点。

0.0000

0

0

0

关注作者

收藏

dreamhappy2012

TPR、FPR、P、R之间有什么关联？

问、TPR、FPR、P、R之间有什么关联？答：P，查准率（准确率），（预测正例）中（真实正例）的比例.R，查全率（召回率），（真实正例）中（预测正例）的比例.TPR，真正例率，（真实正例）中（预测正例）的比例，TPR = R.FPR，假正例率，（真实反例）中（预测正例）的比例.

20.8975

1

2

0

关注作者

收藏

wo56565

浅谈决策树

决策树是一种机器学习的方法。决策树的生成算法有ID3, C4.5和C5.0等。决策树是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果。决策树是一种十分常用的分类方法，需要监管学习（有教师的Supervised Learning），监管学习就是给出一堆样本，每个样本都有一组属性和一个分类结果，也就是分类结果已知，那么通过学习这些样本

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

最小二乘法和梯度下降法有什么区别？

问、最小二乘法和梯度下降法有什么区别？答：这两种方法的目的相同，并且对于损失函数的定义都是相同的--求得损失函数的最小值，使得假设函数能够更好的拟合训练集数据。区别是：计算上，最小二乘法直接计算损失函数的极值，而梯度下降却是给定初始值，按照梯度一步步下降的方式取得局部最小值，之后再选定其他初始值，计算-比较。数学上，最小二乘法直接使用极值，将极值作为最小值。其假定有二：1，损失函数中极值

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

最小二乘法回归存在哪些问题？

问、最小二乘法回归存在哪些问题？答：X矩阵必须可逆当特征数较多时，求逆运算时间开销较大引入梯度下降法

0.0000

0

4

0

关注作者

收藏

dreamhappy2012

分类算法的评价标准有哪些？

问、分类算法的评价标准有哪些？答：1、准确率(Accuracy)：预测正确的样本占所有样本的比例 2 精确率(Precision)：在所有被分类为正例的样本中，真正是正例的比例 3、召回率(Recall)（医学上称作灵敏度）:实际为正例的样本中，被预测为正例的样本比例 4特异度(Specificity):实际为负的样本中，有多大概率被预测出来

0.0000

0

0

0

关注作者

收藏

dreamhappy2012

二分类的评价标准是什么？

问、二分类的评价标准是什么？答：ROC曲线：根据一系列不同的二分类方式（阈值或分界值），以真阳性率TPR（灵敏度）为纵坐标，假阳性率FPR（1-特异度）为横坐标绘制的曲线

28.5714

1

0

0

关注作者

收藏

dreamhappy2012

回归分析的评价标准有哪些?

问、回归分析的评价标准有哪些?答：均方误差MSE（Mean Squared Error）：均方根误差（RMSE） MAE(平均绝对误差)

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

简单介绍Scikit-learn：

问、简单介绍Scikit-learn：答：◼ Scikit-learn项目最早由数据科学家David Cournapeau在2007年发起，需要NumPy和SciPy等其他包的支持，是Python语言中专门针对机器学习应用而发展起来的一款开源框架◼ 和其他众多的开源项目一样，Scikit-learn目前主要由社区成员自发进行维护。可能是由于维护成本的限制，Scikit-learn相比其他项目

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

如果以后从事数据分析工作，用什么笔记本电脑比较好？配置方面有

问题：请问老师如果以后从事数据分析工作，用什么笔记本电脑比较好？配置方面有要求吗？答：数据挖掘需要带GPU 电脑，只做excel，spss分析用笔记本就可以深度学习用在TPU（在集群上）上使用超算中心（北京大学）可以租无锡超算中心（神威-太湖之光）

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

学习算法的流程有哪些？

问、学习算法的流程有哪些？答：1、算法的原理推导，一堆数学公式推导2、用python实现（自己写）3、调用Scikit-Learn4、算法的实践

28.5714

1

2

0

关注作者

收藏

dreamhappy2012

机器学习评价标准是什么？

问、机器学习评价标准是什么？答：评价标准：分类其中：P-Positive N-negative T-true F-falseTP真的正类 FP 假的正类 FN 假的负类 TN 真的负类

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

训练集/测试集的划分方法有哪些？

问、训练集/测试集的划分方法有哪些？✓ 根据已有标注数据，随机选出一部分数据（比如70%）作为训练数据，余下的作为测试数据。此外还有交叉验证法，自助法用来评估分类模型分层抽样法：分层抽样法也叫类型抽样法。它是从一个可以分成不同子总体(或称为层)的总体中，按规定的比例从不同层中随机抽取样品(个体)的方法。这种方法的优点是，样本的代表性比较好，抽样误差比较小。缺点是抽样手续较简单随机抽样还要繁杂些

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

机器学习中需要掌握哪些基本术语？

问、机器学习中需要掌握哪些基本术语？答：✓ 每一条记录为：一个实例（instance）或样本（sample）✓ 数据集：所有记录的集合✓ 训练集：含有参考答案的数据，用来训练模型的已标注数据，用来建立模型，发现规律✓ 测试集：也是已标注数据，通常做法是将标注隐藏，输送给训练好的模型，通过结果与真实标注进行对比，评估模型的学习能力

28.5714

1

0

0

关注作者

收藏

dreamhappy2012

简单介绍机器学习流程

问、简单介绍机器学习流程答：机器学习流程：数据预处理（ Preprocessing ）、模型学习（Learning）、模型评估（Evaluation）、新样本预测（Prediction）数据采集在数据预处理之前数据预处理（ Preprocessing ）：分成训练集和测试集

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

聚类可以解决哪方面问题？

问、聚类可以解决哪方面问题？答：◼ 聚类问题：根据数据样本抽取的特征，挖掘出数据的关联模式◼ 应用：相似用户挖掘、新闻聚类等

0.0000

0

1

0

关注作者

收藏

<1…505152…69>

CDA考试动态

CDA报考指南