统计学-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

啊啊啊啊啊吖

处理非均衡问题的数据抽样方法

另外一种针对非均衡问题调节分类器的方法，就是对分类器的训练数据进行改造。这可以通过欠抽样（undersampling）或者过抽样（oversampling）来实现。过抽样意味着复制样例，而欠抽样意味着删除样例。不管采用哪种方式，数据都会从原始形式改造为新形式。抽样过程则可以通过随机方式或者某个预定方式来实现。通常也会存在某个罕见的类别需要我们来识别，比如在信用卡欺诈当中。如前所述，正例类

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

回归的一般方法

(1) 收集数据：采用任意方法收集数据。(2) 准备数据：回归需要数值型数据，标称型数据将被转成二值型数据。(3) 分析数据：绘出数据的可视化二维图将有助于对数据做出理解和分析，在采用缩减法求得新回归系数之后，可以将新拟合线绘在图上作为对比。(4) 训练算法：找到回归系数。(5) 测试算法：使用R2或者预测值和数据的拟合度，来分析模型的效果。(6) 使用算法：使用回归，可以在

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

回归一词的来历

今天我们所知道的回归是由达尔文（Charles Darwin）的表兄弟Francis Galton发明的。Galton于1877年完成了第一次回归预测，目的是根据上一代豌豆种子（双亲）的尺寸来预测下一代豌豆种子（孩子）的尺寸。 Galton在大量对象上应用了回归分析，甚至包括人的身高。他注意到，如果双亲的高度比平均高度高，他们的子女也倾向于比平均高度高，但尚不及双亲。孩子的高度向着平均高度

0.0000

0

3

0

关注作者

收藏

詹惠儿

如何区分增益和提升图表（一）

增益和提升图表增益和提升图主要用于检查概率的等级排序。以下是构建提升/增益图表的步骤：步骤1：计算每次观察的概率步骤2：按降序排列这些概率。步骤3：构建十分位数，每组具有近10％的观察结果。步骤4：计算Good（响应者），Bad（非响应者）和总数的每个十分位数的响应率。您将获得下表，您需要从中绘制增益/提升图表：这是一个非常有益的表。累积增益图表是累积％权利和累计％人口之

0.0000

0

3

0

关注作者

收藏

詹惠儿

混淆矩阵是NXN矩阵，其中N是预测的类的数量。对于手头的问题，我们有N = 2，因此我们得到一个2×2矩阵。以下是一些定义，您需要记住混淆矩阵：准确性：正确的预测总数的比例。阳性预测值或精确度：正确识别的阳性病例的比例。负面预测值：正确识别的负面案例的比例。敏感度或召回率：正确识别的实际阳性病例的比例。特异性：正确识别的实际阴性病例的比例。手头问题的准确率

0.0000

0

3

0

关注作者

收藏

詹惠儿

为什么要用模型评估指标？

介绍预测建模致力于建设性反馈原则。你建立了一个模型。获取指标的反馈，进行改进并继续，直到达到理想的准确度。评估指标解释了模型的性能。评估指标的一个重要方面是它们区分模型结果的能力。许多天才的分析师，甚至不检查模型的准确性。一旦他们完成了模型的建立，他们就会急忙将预测值映射到看不见的数据上。这是一种不正确的方法。简单地说，建立一个预测模型不是你的动机。但是，创建并选

0.0000

0

2

0

关注作者

收藏

詹惠儿

PCA是指什么？

PCA是主成分分析的英文缩写，主成分分析是指什么呢？因子分析有两种基本方法：主成分分析（PCA）和公因子分析。总体而言，因子分析涉及帮助在变量上产生较少数量的线性组合的技术，以便减少的变量解释并解释相关矩阵模式中的大多数方差。主成分分析是一种因子分析方法，它考虑数据中的总方差，这与公因子分析不同，并将原始变量转换为较小的线性组合。相关矩阵的对角线由统一性组

10.2408

1

2

0

关注作者

收藏

啊啊啊啊啊吖

对比分析是指把两个相互联系的指标进行比较，从数量上展示和说明研究对象规模的大小，水平的高低，速度的快慢，以及各种关系是否协调。特别适用于指标间的横纵向比较、时间序列的比较分析。在对比分析中，选择合适的对比标准是十分关键的步骤，选择合适，才能做出客观的评价，选择不合适，评价可能得出错误的结论。对比分析主要有以下两种形式：（1）绝对数比较它是利用绝对数进行对比，

0.0000

0

2

0

关注作者

收藏

詹惠儿

k-means聚类的分析原理是什么？

通常，对原始数据表执行k -means聚类分析，其中每行表示对象，列表示对象的定量特征。这些定量特征称为聚类变量。例如，表中有18个对象，并且有两个聚类变量x和y。在实际应用程序中，通常会有更多对象和更多变量。例如，在市场细分中，其中k-means用于查找具有相似需求的消费者群体，每个对象是一个人，每个变量通常是对各种事物对消费者的重要程度（例如，质量，价格，客户服务，便利性）的评级。步骤1：

0.0000

0

2

0

关注作者

收藏

詹惠儿

朴素贝叶斯的EM算法是什么？

EM算法即期望最大化算法。期望最大化（EM）算法是一种迭代方法，用于在统计模型中找到参数的最大似然或最大后验（MAP）估计，其中模型取决于未观察到的潜在变量。EM迭代在执行期望（E）步骤和最大化（M）步骤之间交替，期望（E）步骤创建用于使用参数的当前估计评估的对数似然的期望的函数，最大化（M）步骤计算最大化预期对数的参数。在E步骤中发现的可能性。然后使用这些参数估

0.0000

0

1

0

关注作者

收藏

詹惠儿

随机森林有什么作用？

已知树模型是高方差，低偏差模型。结果，他们倾向于过度拟合训练数据。如果我们重新概述树模型的作用，如果我们不修剪它或引入早期停止标准，如每个叶节点的最小实例数，那么这是很吸引人的。好吧，它尝试沿着要素分割数据，直到实例纯粹关于目标要素的值，没有剩余数据，或者没有剩余的要素来吐出数据集。如果以上之一成立，我们会生成一个叶节点。结果是树模型生长到最大深度，并且试图尽可能精确地重塑训练数

0.0000

0

3

0

关注作者

收藏

詹惠儿

混淆矩阵中的准确度

准确度（错误率）准确度是一种统计测量，其定义为由分类器做出的正确预测除以分类器做出的预测之和的商。我们前一个例子中的分类器预测正确预测了42个男性实例和32个女性实例。因此，精度可以通过以下公式计算：(42 32)/(42 8 18 32)(42 32)/(42 8 18 32)这是0.72让我们假设我们有一个分类器，它总是预测“女性”。在这种情况下，我们的准确率为50％。我

0.0000

0

1

0

关注作者

收藏

詹惠儿

决策树中的叶子数量和准确性

叶子数量下表总结了所有6种修剪和停止组合的树大小。在这种情况下，提前停止产生这样一个简单的简单树，修剪没有效果。如果没有提前停止，最小的树修剪会削减最小的错误树。准确性之前提到的树只在70％的数据上训练。我已经扣留了一个随机的30％样本来测试准确度，从而可以计算出无偏的准确度。这6种组合的结果是：对于这些数据，最低精度是由于早期停止（欠拟合），或既不修剪也不停止（过度拟

0.0000

0

2

0

关注作者

收藏

詹惠儿

决策树中的修剪策略

修剪策略决策树中主要有3种修剪策略：最小错误。树被修剪回到交叉验证错误最小的点。交叉验证是使用大部分数据构建树，然后使用剩余部分数据来测试决策树的准确性的过程。最小的树。树比最小错误稍微修剪一下。从技术上讲，修剪会创建一个决策树，其交叉验证错误在最小错误的1个标准误差范围内。较小的树更容易理解，但代价是误差小幅增加。没有。提前停止或预修剪防止过度拟合的另一种方法是在产

0.0000

0

3

0

关注作者

收藏

詹惠儿

决策树中的CART是什么？

分类和回归树（CART） CART是最成熟的机器学习技术之一。在非技术术语中，CART算法通过重复找到最佳预测变量来将数据分成两个子集。子集比分割前更好地划分目标结果。修剪是一种与分类和回归树相关的技术。我不打算详细介绍最佳预测变量或更好的分区的含义。相反，我将讨论对该基本大纲的两个改进：修剪和提前停止。有时这些被简单地称为后修剪和预修剪。顾名思义，预修剪或早

0.0000

0

0

0

关注作者

收藏

詹惠儿

机器学习中的修剪决策树

修剪决策树在机器学习和数据挖掘中，通过删除不提供分类实例的功能的树的部分，修剪减少了决策树的大小，修剪是与决策树相关联的技术。决策树是所有机器学习算法中最容易过度拟合的，而有效的修剪可以降低这种可能性。这篇文章将介绍两种技术，以帮助过度拟合 - 预修剪或早期停止和后修剪示例。机器学习是一个权衡问题。经典问题是过度拟合与不合适。当模型很好地记忆其训练数据以至于在信号之上学习噪

62.1152

1

1

0

关注作者

收藏

詹惠儿

如何理解极大似然估计？

问题陈述假设我们有一个随机样本X 1，X 2，...，X n，其假设概率分布取决于某个未知参数θ。我们的主要目标是找到一个点估计器u（X 1， X 2，...， X n），使得 u（x 1， x 2，...， x n）是一个“好”点估计 θ，其中 x 1， x 2，...， x n 是随机样本的观察值。举例来说，如果我们计划采取随机样本 X 1， X 2，...， X ñ

0.0000

0

1

0

关注作者

收藏

詹惠儿

频繁统计是指什么？

频率主义者和贝叶斯主义者之间的争论几个世纪以来一直困扰着初学者。因此，了解两者之间的区别以及如何存在细线划分非常重要！它是统计学界中使用最广泛的推论技术。事实上，一般来说，进入统计世界的人是第一个思想流派。Frequentist Statistics 测试是否发生事件（假设）。它计算了长期实验中事件的概率（即在相同条件下重复实验以获得结果）。这里，采用固定大小的采样分布。然后，实验在理论上重

0.0000

0

4

0

关注作者

收藏

詹惠儿

pyhton中怎么进行多项式拟合？

首先检查下版本问题：注意：多项式拟合在1.9.2 版本中可用运行pip install plotly --upgrade可更新你的Plotly版本导入相关库：多项式拟合＃在此处了解API身份验证：https：//plot.ly/python/getting-started ＃在这里找到你的api_key：https：//plot.ly/settings/api

0.0000

0

2

0

关注作者

收藏

詹惠儿

什么事可视化Q测试？

可视化Q测试为了正确地显示我们的critical height ，我们可以使用数据集点按递增顺序绘制散点图，并为我们的临界高度绘制一条线。该临界高度是阈值，使得如果数据集中的最低点低于它，则将其视为outlier 。为了得出这个值，我们只需要从查询表中，然后将其插入我们的QQ以上的公式中，用未知的xx替换我们的最小值因此我们得到了：在python中实现：

0.0000

0

1

0

关注作者

收藏

<1…454647…55>

CDA考试动态

CDA报考指南