数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

啊啊啊啊啊吖

异常值分析

异常值分析是检验数据是否有录入错误以及含有不合常理的数据。忽视异常值的存在是十分危险的，不加剔除地把异常值包括进数据的计算分析过程中，会给结果带来不良影响；重视异常值的出现，分析其产生的原因，常常成为发现问题进而改进决策的契机。异常值是指样本中的个别值，其数值明显偏离其余的观测值。异常值也称为离群点，异常值的分析也称为离群点分析。（1）简单统计量分析可以先对变量做

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

缺失值分析

数据的缺失主要包括记录的缺失和记录中某个字段信息的缺失，两者都会造成分析结果的不准确，以下从缺失值产生的原因及影响等方面展开分析。（1）缺失值产生的原因1）有些信息暂时无法获取，或者获取信息的代价太大。2）有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写或对数据理解错误等一些人为因素而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障等

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

数据类型 ——字符串类型

数据类型 (3)• 字符串类型 – CHAR(M)：固定长度字符串，为 1-255 。如果内容小于指定长度，右边填充空格不定长度，默认为 1 – VARCHAR(M)) ：可变长度字符串，为 1-255 。定义该类型时必须指长度 – BLOB或TEXT：最大长度 65535 。存储二进制大数据，如图片不能指定长度两者区别： BLOB 大小写敏感 –

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

数据类型--日期和时间类型

日期和时间类型 – DATE:YYYY -MM -DD 格式，在 1000 -01 -01 和9999 -12 -31 之间。例如： 1973 -12 -30 – DATETIME :YYYY -MM -DD HH:MM:SS 格式，位于 1000 -01 -01 00:00 01 和9999 -12 -31 23:59:59 之间。例如： 1973 -12 -30 15

0.0000

0

0

0

关注作者

收藏

dreamhappy2012

数据类型--数值类型

• 数值类型： – INT ：有符号的和无。大小：有符号的和无。大小 -2147483648~2147483647 ，无符号大小， 0~4294967295 。宽度最多为 11 个数字 -int(11) – TINYINT:有符号的和无。大小 -128~127，无符号大小为 0~255。宽度最多为 4个数字-tinyint(4)

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

企业数据存储面临的问题有哪些？

1、存储大量数据2、大量数据的检索和访问3、保证数据信息的一致和完整4、数据共享和安全5、通过分析整合，产生新的有用的信息(如提供决策支持)

0.0000

0

3

0

关注作者

收藏

詹惠儿

python的Q测试是什么？

导入相关库：导入数据为了开始执行离群值测试，我们将导入一些每10分钟采样的平均风速数据说明：在任何数据集中， outlier都是与其他数据点不一致的基准点。如果从特定分布采样的数据具有高概率，则异常值将不属于该分布。如果特定点是异常值，则有各种测试用于测试，这是通过常态测试中使用的相同的空假设测试来完成的。Q测试Dixon的Q-Test用于帮助确定是否有证据

0.0000

0

3

0

关注作者

收藏

zxq997

列联表和卡方检验

分类变量之间的相关性一般可以采用列联表分析或卡方检验的方法来进行验证。列联表是两个分类变量的分类水平之间形成的交叉频数表，通过计算行百分比或列百分比，对实际频率和期望频率进行对比分析，例如一个典型的列联表如下：对于表中频数、期望频数、行/列百分比的解读方法要熟练掌握。比如98代表的是头发颜色为金色，眼睛颜色为深色的样本数量。而355.2则是期望的数量。6.7%是行百分比，也就是在所有头发

0.0000

0

0

0

关注作者

收藏

zxq997

横截面和时间序列数据在回归建模上的差异

横截面是指在统一时间平面上的数据，例如2013年各个上市公司的财报数据，如果研究其不同变量之间的线性关系，可以用多元线性回归模型。但是如果数据包含时间趋势，例如2001-2018年全国各个省市的宏观经济指标数据，如果要研究不同宏观指标之间的线性影响，就要用面板回归模型了（计量模型的一种）。

0.0000

0

4

0

关注作者

收藏

zxq997

不存在完全共线性假设

假设检验方法：判断共线性的方法主要有两种，一种是计算变量之间的线性相关系数，如果有若然对变量的相关系数大于0.5，那么就有可能存在共线性问题。第二种是计算方差膨胀系数（VIF）。若VIF10，说明问题比较严重。假设失效的影响：多重共线性的存在可能会使得回归系数的正负号与现实意义相反，使我们很难得知自变量与因变量之间真正的关系。假设失效解决方

0.0000

0

2

0

关注作者

收藏

zxq997

多元线性回归的基本假设

由于自变量增加，多元线性回归除了保留一元线性回归的5个假设以外，还新增了线性无关假设。假设1：线性关系。因变量y与自变量x1，x2，…，xk之间存在线性关系。假设2：随机抽样。我们的样本数据是来自于总体的随机样本，该数据代表着假设1描述的总体。假设3：期望为0。误差项ε是一个期望值为0的随机变量，即E(ε)=0。假设4：同方差。给定任意的解释变量x1，x2，…，xk，ε的方

0.0000

0

0

0

关注作者

收藏

啊啊啊啊啊吖

矩阵QR分解学习分享~

A为m×n矩阵可以进行QR分解，A=QR，其中：Q'Q＝I，在R中可以用函数qr()进行QR分解，例如：> A=matrix(1:16,4,4)> qr(A)$qr[,1] [,2] [,3] [,4][1,] -5.4772256 -12.7801930 -2.008316e+01 -2.738613e+01[2,] 0.3651484 -3.2659863 -6.531973e

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

怎么用R矩阵奇异值分解

A为m×n矩阵，rank(A)= r, 可以分解为：A=UDV',其中U'U=V'V=I。在R中可以用函数scd()进行奇异值分解，例如：> A=matrix(1:18,3,6)> A[,1] [,2] [,3] [,4] [,5] [,6][1,] 1 4 7 10 13 16[2,] 2 5 8 11 14 17[3,] 3 6 9 12 15 18> svd(A)$d[

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

矩阵的 Choleskey 分解

对于正定矩阵 A，可对其进行 Choleskey 分解，即：A=P'P，其中 P 为上三角矩阵，在R 中可以用函数 chol()进行 Choleskey 分解，例如：> A[,1] [,2] [,3] [,4][1,] 2 1 1 1[2,] 1 2 1 1[3,] 1 1 2 1[4,] 1 1 1 2> chol(A)[,1] [,2] [,3] [,4][1,] 1.4

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

特征值与特征向量

矩阵 A 的谱分解为 A=UΛU',其中 Λ 是由 A 的特征值组成的对角矩阵，U 的列为 A 的特征值对应的特征向量，在 R 中可以用函数 eigen()函数得到 U 和 Λ，> args(eigen)function (x, symmetric, only.values = FALSE, EISPACK = FALSE)其中：x 为矩阵，symmetric 项指定矩阵 x 是否为对称

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

矩阵求逆可用函数 solve()，应用 solve(a, b)运算结果是解线性方程组 ax = b，若 b 缺省，则系统默认为单位矩阵，因此可用其进行矩阵求逆，例如：> a=matrix(rnorm(16),4,4)> a[,1] [,2] [,3] [,4][1,] 1.6986019 0.5239738 0.2332094 0.3174184[2,] -0.2010667 1.0

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

矩阵对角元素相关运算

例如要取一个方阵的对角元素，> A=matrix(1:16,nrow=4,ncol=4)> A[,1] [,2] [,3] [,4][1,] 1 5 9 13[2,] 2 6 10 14[3,] 3 7 11 15[4,] 4 8 12 16> diag(A)[1] 1 6 11 16对一个向量应用 diag()函数将产生以这个向量为对角元素的对角矩阵，例如：> diag(d

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

矩阵转置怎么求

A 为 m×n 矩阵，求 A'在 R 中可用函数 t()，例如：> A=matrix(1:12,nrow=3,ncol=4)> A[,1] [,2] [,3] [,4][1,] 1 4 7 10[2,] 2 5 8 11[3,] 3 6 9 12> t(A)[,1] [,2] [,3][1,] 1 2 3[2,] 4 5 6[3,] 7 8 9[4,] 10 11 12

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

简单回归；回归预测

401k.RAW 中的数据是帕普克（Papke， 1995）所分析数据的一个子集，帕普克是为了研究 401（k）养老金计划的参与率和该计划的慷慨程度之间的关系。变量 prate 是有资格参与该计划的员工中拥有活动账户的百分比，也是我们要解释的变量。慷慨程度指标是计划的匹配率mrate。这个变量给出了员工每向这个账户存 1 美元，公司为该员工匹配的平均数量。例如，mrate=0.50，则员工

0.0000

0

1

0

关注作者

收藏

wangjuju123

离散趋势的描述指标

显然，仅仅反映数据的集中趋势是远远不够的，还要反映数据的离散趋势，即数据的波动范围，描述该趋势的统计量称为尺度统计量(Scale Statistic)，常用的尺度统计量有标准差、方差、四分位间距等。全距(Range)：全距又称为极差，即一组数据中大值与小值之差，它是简单的变异指标，但因其过于简单，因此一般只用于预备性检查。方差(Variance)和标准差(Standard Devia

0.0000

0

3

0

关注作者

收藏

<1…367368369…404>

CDA考试动态

CDA报考指南