数据分析师-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

詹惠儿

评估模型的均方根误差（RMSE）

RMSE是回归问题中最常用的评估指标。它遵循一个假设，即误差是无偏的并遵循正态分布。以下是RMSE需要考虑的要点：“平方根”的功效使该指标能够显示大量偏差。此度量标准的“平方”特性有助于提供更强大的结果，从而防止取消正负误差值。换句话说，该度量恰当地显示了错误术语的合理幅度。它避免使用绝对误差值，这在数学计算中是非常不希望的。当我们有更多样本时，使用RMSE重建误差分布被认为更可靠。R

0.0000

0

2

0

关注作者

收藏

詹惠儿

Roc要注意什么？

让我们以阈值= 0.5为例（参考混淆矩阵）。这是混淆矩阵：a如您所见，此阈值的灵敏度为99.6％，（1-特异性）为~60％。该坐标在我们的ROC曲线中成为点。为了将该曲线降低到单个数字，我们找到该曲线下的面积（AUC）。注意，整个正方形的面积是1 * 1 = 1.因此AUC本身是曲线下面的比率和总面积。对于手头的案例，我们将AUC ROC定为96.4％。以下是一些拇指规则：.90-1

0.0000

0

1

0

关注作者

收藏

詹惠儿

ROC曲线怎么使用？

ROC曲线下的面积（AUC - ROC）这又是业界常用的指标之一。使用ROC曲线的最大优点是它与响应者的比例变化无关。在以下部分中，此声明将更加清晰。让我们首先尝试了解什么是ROC（接收器工作特性）曲线。如果我们看下面的混淆矩阵，我们观察到对于概率模型，我们得到每个度量的不同值。因此，对于每种敏感性，我们得到不同的特异性。两者的变化如下： ROC曲线是灵敏度和（1-

0.0000

0

1

0

关注作者

收藏

kejiayuan0806

Excel分列的使用

1、拆分多列【选中需要拆分的数据】--【数据】--【分列】在弹出的文本分列向导对话框中主要分两部分，第一部分是分隔符，第二部分是预览。在分隔符中，有常用的几个分隔符：Tab、分号、逗号、空格，符号需要在英文状态下输入。最后一个是其他，需要注意的是，只能输入一个字符。第二部分是预览，当选中相应的分隔符后就可以在下方预览区显示正确的分割。 2、规范日期格式【选中需要拆

0.0000

0

2

0

关注作者

收藏

詹惠儿

Kolomogorov Smirnov图表

KS或Kolmogorov-Smirnov图表测量分类模型的性能。更准确地说，KS是衡量正负分布之间分离程度的指标。如果分数将人口分成两个独立的组，其中一组包含所有正数而另一组包含所有负数，则KS为100。另一方面，如果模型不能区分正面和负面，那么就好像模型从总体中随机选择案例。KS将为0.在大多数分类模型中，KS将介于0和100之间，并且值越高，模型在分离正面和负面情况时越好。对于手头的情况

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

基于代价函数的分类器决策控制

我们可以基于该代价矩阵计算其总代价：TP*0 FN*1 FP*1 TN*0。接下来我们考虑下面的第二张表，基于该代价矩阵的分类代价的计算公式为： TP*(-5) FN*1 FP*50 TN*0。采用第二张表作为代价矩阵时，两种分类错误的代价是不一样的。类似地，这两种正确分类所得到的收益也不一样。如果在构建分类器时，知道了这些代价值，那么就可以选择付出最小代价的分类器。在分类算法中，我们有

0.0000

0

2

0

关注作者

收藏

詹惠儿

如何区分增益和提升图表（二）

在第一个十分位数中我们可以达到的最大升力是多少？从本文的第一个表中，我们知道响应者的总数是3850.第一个十分位数将包含543个观测值。因此，第一个十分位数的最大升力可能是543 / 3850~14.1％。因此，我们对此模型非常接近完美。现在让我们绘制升力曲线。提升曲线是总升力与％人口之间的关系曲线。请注意，对于随机模型，它始终保持100％不变。以下是手头案例的情节：您还可以使用十

0.0000

0

7

0

关注作者

收藏

啊啊啊啊啊吖

处理非均衡问题的数据抽样方法

另外一种针对非均衡问题调节分类器的方法，就是对分类器的训练数据进行改造。这可以通过欠抽样（undersampling）或者过抽样（oversampling）来实现。过抽样意味着复制样例，而欠抽样意味着删除样例。不管采用哪种方式，数据都会从原始形式改造为新形式。抽样过程则可以通过随机方式或者某个预定方式来实现。通常也会存在某个罕见的类别需要我们来识别，比如在信用卡欺诈当中。如前所述，正例类

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

回归的一般方法

(1) 收集数据：采用任意方法收集数据。(2) 准备数据：回归需要数值型数据，标称型数据将被转成二值型数据。(3) 分析数据：绘出数据的可视化二维图将有助于对数据做出理解和分析，在采用缩减法求得新回归系数之后，可以将新拟合线绘在图上作为对比。(4) 训练算法：找到回归系数。(5) 测试算法：使用R2或者预测值和数据的拟合度，来分析模型的效果。(6) 使用算法：使用回归，可以在

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

回归一词的来历

今天我们所知道的回归是由达尔文（Charles Darwin）的表兄弟Francis Galton发明的。Galton于1877年完成了第一次回归预测，目的是根据上一代豌豆种子（双亲）的尺寸来预测下一代豌豆种子（孩子）的尺寸。 Galton在大量对象上应用了回归分析，甚至包括人的身高。他注意到，如果双亲的高度比平均高度高，他们的子女也倾向于比平均高度高，但尚不及双亲。孩子的高度向着平均高度

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

树回归的一般方法

(1) 收集数据：采用任意方法收集数据。(2) 准备数据：需要数值型的数据，标称型数据应该映射成二值型数据。(3) 分析数据：绘出数据的二维可视化显示结果，以字典方式生成树。(4) 训练算法：大部分时间都花费在叶节点树模型的构建上。(5) 测试算法：使用测试数据上的R2值来分析模型的效果。(6) 使用算法：使用训练出的树做预测，预测结果还可以用来做很多事情

0.0000

0

5

0

关注作者

收藏

kejiayuan0806

Excel快速填充常用方法

快速填充操作步骤：【在第一个单元格输入需要填充的数据格式】--【下拉数据】--【右下角按钮】--【快速填充】1、数据提取 2、数据拆分 3、提取数值和字符 4、数据合并 5、加空格 6、位置转换

0.0000

0

3

0

关注作者

收藏

詹惠儿

如何区分增益和提升图表（一）

增益和提升图表增益和提升图主要用于检查概率的等级排序。以下是构建提升/增益图表的步骤：步骤1：计算每次观察的概率步骤2：按降序排列这些概率。步骤3：构建十分位数，每组具有近10％的观察结果。步骤4：计算Good（响应者），Bad（非响应者）和总数的每个十分位数的响应率。您将获得下表，您需要从中绘制增益/提升图表：这是一个非常有益的表。累积增益图表是累积％权利和累计％人口之

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

Windows 系统可以从http://www.python.org/getit/下载，注意选择合适的Windows安装包（64位或32位）并按说明进行操作。可以从http://sourceforge.net/projects/numpy/files/NumPy/下载二进制NumPy文件，这种安装方式可以省去自己编译的麻烦。安装完毕后就可以打开Python命令行了。在“运行”窗口输入cm

0.0000

0

1

0

关注作者

收藏

詹惠儿

混淆矩阵是NXN矩阵，其中N是预测的类的数量。对于手头的问题，我们有N = 2，因此我们得到一个2×2矩阵。以下是一些定义，您需要记住混淆矩阵：准确性：正确的预测总数的比例。阳性预测值或精确度：正确识别的阳性病例的比例。负面预测值：正确识别的负面案例的比例。敏感度或召回率：正确识别的实际阳性病例的比例。特异性：正确识别的实际阴性病例的比例。手头问题的准确率

0.0000

0

3

0

关注作者

收藏

詹惠儿

为什么要用模型评估指标？

介绍预测建模致力于建设性反馈原则。你建立了一个模型。获取指标的反馈，进行改进并继续，直到达到理想的准确度。评估指标解释了模型的性能。评估指标的一个重要方面是它们区分模型结果的能力。许多天才的分析师，甚至不检查模型的准确性。一旦他们完成了模型的建立，他们就会急忙将预测值映射到看不见的数据上。这是一种不正确的方法。简单地说，建立一个预测模型不是你的动机。但是，创建并选

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

如果两件事同时发生概率应当如何计算呢，例如天气=下雪且星期几=2？不难想到，这个概率应该等于两件事情都为真的次数除以所有事件发生的总次数。简单来计算一下：只有一个样本点满足天气=下雪且星期几=2，所以这个概率应当是1/7。这种联合事件的概率一般用逗号隔开的变量来表示： P(天气=雪天，星期几=2)。一般地，对事件X和Y来说，对应的联合概率应该记为P(X, Y )。读者可能还看到过一些形如

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

当处理矩阵代数方程时，经常会碰到矩阵的逆矩阵。如果XY=I，其中I是单位阵（单位阵I的对角线元素均为1，而其他元素都是0。任意矩阵乘以单位阵仍为原始矩阵），则称X是Y的逆矩阵。逆矩阵的一个实际缺陷是当矩阵不止几个元素时计算很麻烦且基本不可能通过手工计算。了解矩阵什么时候才有逆很有帮助，这样就可以避免程序的错误。矩阵B的逆矩阵通常表示为B-1。矩阵要可逆必须要是方阵。这里所谓方阵，是指矩阵

0.0000

0

7

0

关注作者

收藏

kejiayuan0806

Excel定位条件的使用

定位条件就是找到你想要的特殊单元格或者是区域。在开始选项卡中【查找替换的下拉箭头】--【定位条件】--【选择相应的功能】定位空值并填充：【选中数据区域】--【定位条件】--【空值】--【输入填充值】--【Ctrl Enter】。定位可见单元格：【选中筛选后的单元格】--【定位条件】--【可见单元格】--【复制】--【粘贴】。

0.0000

0

1

0

关注作者

收藏

kejiayuan0806

Excel数据验证

Excel数据验证的作用1、快速创建下拉列表数据选项卡中数据验证下拉列表：【选中需要设置的单元格】--【数据】--【数据验证】--【设置】--【序列】 2、限定输入的数据类型数据选项卡中数据验证下拉列表：【选中需要设置的单元格】--【数据】--【数据验证】--【设置】--【文本长度】--【出错警告】（输入您需要提醒的内容）。

0.0000

0

1

0

关注作者

收藏

<1…270271272…340>

CDA考试动态

CDA报考指南