数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

詹惠儿

随机森林有什么作用？

已知树模型是高方差，低偏差模型。结果，他们倾向于过度拟合训练数据。如果我们重新概述树模型的作用，如果我们不修剪它或引入早期停止标准，如每个叶节点的最小实例数，那么这是很吸引人的。好吧，它尝试沿着要素分割数据，直到实例纯粹关于目标要素的值，没有剩余数据，或者没有剩余的要素来吐出数据集。如果以上之一成立，我们会生成一个叶节点。结果是树模型生长到最大深度，并且试图尽可能精确地重塑训练数

0.0000

0

3

0

关注作者

收藏

詹惠儿

混淆矩阵中的准确度

准确度（错误率）准确度是一种统计测量，其定义为由分类器做出的正确预测除以分类器做出的预测之和的商。我们前一个例子中的分类器预测正确预测了42个男性实例和32个女性实例。因此，精度可以通过以下公式计算：(42 32)/(42 8 18 32)(42 32)/(42 8 18 32)这是0.72让我们假设我们有一个分类器，它总是预测“女性”。在这种情况下，我们的准确率为50％。我

0.0000

0

1

0

关注作者

收藏

詹惠儿

决策树中的叶子数量和准确性

叶子数量下表总结了所有6种修剪和停止组合的树大小。在这种情况下，提前停止产生这样一个简单的简单树，修剪没有效果。如果没有提前停止，最小的树修剪会削减最小的错误树。准确性之前提到的树只在70％的数据上训练。我已经扣留了一个随机的30％样本来测试准确度，从而可以计算出无偏的准确度。这6种组合的结果是：对于这些数据，最低精度是由于早期停止（欠拟合），或既不修剪也不停止（过度拟

0.0000

0

2

0

关注作者

收藏

詹惠儿

决策树中的修剪策略

修剪策略决策树中主要有3种修剪策略：最小错误。树被修剪回到交叉验证错误最小的点。交叉验证是使用大部分数据构建树，然后使用剩余部分数据来测试决策树的准确性的过程。最小的树。树比最小错误稍微修剪一下。从技术上讲，修剪会创建一个决策树，其交叉验证错误在最小错误的1个标准误差范围内。较小的树更容易理解，但代价是误差小幅增加。没有。提前停止或预修剪防止过度拟合的另一种方法是在产

0.0000

0

3

0

关注作者

收藏

詹惠儿

频繁统计是指什么？

频率主义者和贝叶斯主义者之间的争论几个世纪以来一直困扰着初学者。因此，了解两者之间的区别以及如何存在细线划分非常重要！它是统计学界中使用最广泛的推论技术。事实上，一般来说，进入统计世界的人是第一个思想流派。Frequentist Statistics 测试是否发生事件（假设）。它计算了长期实验中事件的概率（即在相同条件下重复实验以获得结果）。这里，采用固定大小的采样分布。然后，实验在理论上重

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

R实现缺失值和异常值检测

##设置工作空间#把“数据及程序” 文件夹复制到F盘下，再用setwd设置工作空间setwd（"F： /数据及程序/chapter3/示例程序"）#读入数据saledata=read.csv（file="./data/catering_sale.csv"， header=TRUE）#缺失值检测并打印结果，由于R把TRUE和FALSE分别当作1、 0，可以用sum（）和mean（）

37.5000

1

2

0

关注作者

收藏

啊啊啊啊啊吖

异常值分析

异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除地把异常值包括进数据的计算分析过程中，会给结果带来不良影响；重视异常值的出现，分析其产生的原因，常常成为发现问题进而改进决策的契机。异常值是指样本中的个别值，其数值明显偏离其余的观测值。异常值也称为离群点，异常值的分析也称为离群点分析。（1）简单统计量分析可以先对变量做

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

缺失值分析

数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失，两者都会造成分析结果的不准确，以下从缺失值产生的原因及影响等方面展开分析。（1）缺失值产生的原因1）有些信息暂时无法获取，或者获取信息的代价太大。2）有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写或对数据理解错误等一些人为因素而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障等

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

数据类型 ——字符串类型

数据类型 (3)• 字符串类型 – CHAR(M)：固定长度字符串，为 1-255 。如果内容小于指定长度，右边填充空格不定长度，默认为 1 – VARCHAR(M)) ：可变长度字符串，为 1-255 。定义该类型时必须指长度 – BLOB或TEXT：最大长度 65535 。存储二进制大数据，如图片不能指定长度两者区别： BLOB 大小写敏感 –

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

数据类型--日期和时间类型

日期和时间类型 – DATE:YYYY -MM -DD 格式，在 1000 -01 -01 和9999 -12 -31 之间。例如： 1973 -12 -30 – DATETIME :YYYY -MM -DD HH:MM:SS 格式，位于 1000 -01 -01 00:00 01 和9999 -12 -31 23:59:59 之间。例如： 1973 -12 -30 15

0.0000

0

0

0

关注作者

收藏

dreamhappy2012

数据类型--数值类型

• 数值类型： – INT ：有符号的和无。大小：有符号的和无。大小 -2147483648~2147483647 ，无符号大小， 0~4294967295 。宽度最多为 11 个数字 -int(11) – TINYINT:有符号的和无。大小 -128~127，无符号大小为 0~255。宽度最多为 4个数字-tinyint(4)

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

企业数据存储面临的问题有哪些？

1、存储大量数据2、大量数据的检索和访问3、保证数据信息的一致和完整4、数据共享和安全5、通过分析整合，产生新的有用的信息(如提供决策支持)

0.0000

0

3

0

关注作者

收藏

詹惠儿

python的Q测试是什么？

导入相关库：导入数据为了开始执行离群值测试，我们将导入一些每10分钟采样的平均风速数据说明：在任何数据集中， outlier都是与其他数据点不一致的基准点。如果从特定分布采样的数据具有高概率，则异常值将不属于该分布。如果特定点是异常值，则有各种测试用于测试，这是通过常态测试中使用的相同的空假设测试来完成的。Q测试Dixon的Q-Test用于帮助确定是否有证据

0.0000

0

3

0

关注作者

收藏

zxq997

列联表和卡方检验

分类变量之间的相关性一般可以采用列联表分析或卡方检验的方法来进行验证。列联表是两个分类变量的分类水平之间形成的交叉频数表，通过计算行百分比或列百分比，对实际频率和期望频率进行对比分析，例如一个典型的列联表如下：对于表中频数、期望频数、行/列百分比的解读方法要熟练掌握。比如98代表的是头发颜色为金色，眼睛颜色为深色的样本数量。而355.2则是期望的数量。6.7%是行百分比，也就是在所有头发

0.0000

0

0

0

关注作者

收藏

zxq997

横截面和时间序列数据在回归建模上的差异

横截面是指在统一时间平面上的数据，例如2013年各个上市公司的财报数据，如果研究其不同变量之间的线性关系，可以用多元线性回归模型。但是如果数据包含时间趋势，例如2001-2018年全国各个省市的宏观经济指标数据，如果要研究不同宏观指标之间的线性影响，就要用面板回归模型了（计量模型的一种）。

0.0000

0

4

0

关注作者

收藏

zxq997

不存在完全共线性假设

假设检验方法：判断共线性的方法主要有两种，一种是计算变量之间的线性相关系数，如果有若然对变量的相关系数大于0.5，那么就有可能存在共线性问题。第二种是计算方差膨胀系数（VIF）。若VIF10，说明问题比较严重。假设失效的影响：多重共线性的存在可能会使得回归系数的正负号与现实意义相反，使我们很难得知自变量与因变量之间真正的关系。假设失效解决方

0.0000

0

2

0

关注作者

收藏

zxq997

多元线性回归的基本假设

由于自变量增加，多元线性回归除了保留一元线性回归的5个假设以外，还新增了线性无关假设。假设1：线性关系。因变量y与自变量x1，x2，…，xk之间存在线性关系。假设2：随机抽样。我们的样本数据是来自于总体的随机样本，该数据代表着假设1描述的总体。假设3：期望为0。误差项ε是一个期望值为0的随机变量，即E(ε)=0。假设4：同方差。给定任意的解释变量x1，x2，…，xk，ε的方

0.0000

0

0

0

关注作者

收藏

啊啊啊啊啊吖

矩阵QR分解学习分享~

A为m×n矩阵可以进行QR分解，A=QR，其中：Q'Q＝I，在R中可以用函数qr()进行QR分解，例如：> A=matrix(1:16,4,4)> qr(A)$qr[,1] [,2] [,3] [,4][1,] -5.4772256 -12.7801930 -2.008316e+01 -2.738613e+01[2,] 0.3651484 -3.2659863 -6.531973e

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

怎么用R矩阵奇异值分解

A为m×n矩阵，rank(A)= r, 可以分解为：A=UDV',其中U'U=V'V=I。在R中可以用函数scd()进行奇异值分解，例如：> A=matrix(1:18,3,6)> A[,1] [,2] [,3] [,4] [,5] [,6][1,] 1 4 7 10 13 16[2,] 2 5 8 11 14 17[3,] 3 6 9 12 15 18> svd(A)$d[

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

矩阵的 Choleskey 分解

对于正定矩阵 A，可对其进行 Choleskey 分解，即：A=P'P，其中 P 为上三角矩阵，在R 中可以用函数 chol()进行 Choleskey 分解，例如：> A[,1] [,2] [,3] [,4][1,] 2 1 1 1[2,] 1 2 1 1[3,] 1 1 2 1[4,] 1 1 1 2> chol(A)[,1] [,2] [,3] [,4][1,] 1.4

0.0000

0

2

0

关注作者

收藏

<1…367368369…404>

CDA考试动态

CDA报考指南