数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

dreamhappy2012

企业数据存储面临的问题有哪些？

1、存储大量数据2、大量数据的检索和访问3、保证数据信息的一致和完整4、数据共享和安全5、通过分析整合，产生新的有用的信息(如提供决策支持)

0.0000

0

3

0

关注作者

收藏

zxq997

列联表和卡方检验

分类变量之间的相关性一般可以采用列联表分析或卡方检验的方法来进行验证。列联表是两个分类变量的分类水平之间形成的交叉频数表，通过计算行百分比或列百分比，对实际频率和期望频率进行对比分析，例如一个典型的列联表如下：对于表中频数、期望频数、行/列百分比的解读方法要熟练掌握。比如98代表的是头发颜色为金色，眼睛颜色为深色的样本数量。而355.2则是期望的数量。6.7%是行百分比，也就是在所有头发

0.0000

0

0

0

关注作者

收藏

zxq997

横截面和时间序列数据在回归建模上的差异

横截面是指在统一时间平面上的数据，例如2013年各个上市公司的财报数据，如果研究其不同变量之间的线性关系，可以用多元线性回归模型。但是如果数据包含时间趋势，例如2001-2018年全国各个省市的宏观经济指标数据，如果要研究不同宏观指标之间的线性影响，就要用面板回归模型了（计量模型的一种）。

0.0000

0

4

0

关注作者

收藏

zxq997

多元线性回归的参数估计

与一元线性回归一样，多元线性的回归仍然使用最小二乘法来估计，即也就是使得因变量样本值到因变量估计值之间的2次距离总和最小。由于带估计参数有k 1个，因此我们在计算时会用到由k 1个方程构造的方程组通过方程组求解可以得到各个参数的参数估计，当然在本教材中，这部分的具体计算就留给计算机来运算了。

0.0000

0

2

0

关注作者

收藏

zxq997

修正的R2（Adjusted R-squared），又叫做修正多重判定系数。R2倾向于乐观估计线性回归的拟合度，它会随着模型中包含的自变量数量的增加而增加，而不管这自变量本身是否真的有效，这显然是不合理的。修正的R2能够有效的改进这种对于拟合度的高估，如果在模型中存在不重要的变量，即这些变量不能有效的改进模型，那么修正的R2将会降低。修正的R2的计算公式等于其中n为样本数，k为自变量

0.0000

0

1

0

关注作者

收藏

zxq997

回归系数检验

回归系数检验的原假设为H0：i= 0，即第i个自变量xi 与因变量y没有线性关系。检验统计量与一元线性回归一致这里k表示自变量个数。检验决策方法与一元线性回归一致，这里不再重复介绍。假设失效的影响：如果模型的线性关系假设不成立，这就意味着模型中可能还有x2，ln(x)等非线性情形，或者因变量无法由自变量线性表示，此时所得到的模型参数无法证实刻画数据包含的内部规律。假设失效解决方法

0.0000

0

4

0

关注作者

收藏

zxq997

多元线性回归的基本假设

由于自变量增加，多元线性回归除了保留一元线性回归的5个假设以外，还新增了线性无关假设。假设1：线性关系。因变量y与自变量x1，x2，…，xk之间存在线性关系。假设2：随机抽样。我们的样本数据是来自于总体的随机样本，该数据代表着假设1描述的总体。假设3：期望为0。误差项ε是一个期望值为0的随机变量，即E(ε)=0。假设4：同方差。给定任意的解释变量x1，x2，…，xk，ε的方

0.0000

0

0

0

关注作者

收藏

啊啊啊啊啊吖

矩阵QR分解学习分享~

A为m×n矩阵可以进行QR分解，A=QR，其中：Q'Q＝I，在R中可以用函数qr()进行QR分解，例如：> A=matrix(1:16,4,4)> qr(A)$qr[,1] [,2] [,3] [,4][1,] -5.4772256 -12.7801930 -2.008316e+01 -2.738613e+01[2,] 0.3651484 -3.2659863 -6.531973e

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

怎么用R矩阵奇异值分解

A为m×n矩阵，rank(A)= r, 可以分解为：A=UDV',其中U'U=V'V=I。在R中可以用函数scd()进行奇异值分解，例如：> A=matrix(1:18,3,6)> A[,1] [,2] [,3] [,4] [,5] [,6][1,] 1 4 7 10 13 16[2,] 2 5 8 11 14 17[3,] 3 6 9 12 15 18> svd(A)$d[

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

矩阵的 Choleskey 分解

对于正定矩阵 A，可对其进行 Choleskey 分解，即：A=P'P，其中 P 为上三角矩阵，在R 中可以用函数 chol()进行 Choleskey 分解，例如：> A[,1] [,2] [,3] [,4][1,] 2 1 1 1[2,] 1 2 1 1[3,] 1 1 2 1[4,] 1 1 1 2> chol(A)[,1] [,2] [,3] [,4][1,] 1.4

0.0000

0

2

0

关注作者

收藏

啊啊啊啊啊吖

特征值与特征向量

矩阵 A 的谱分解为 A=UΛU',其中 Λ 是由 A 的特征值组成的对角矩阵，U 的列为 A 的特征值对应的特征向量，在 R 中可以用函数 eigen()函数得到 U 和 Λ，> args(eigen)function (x, symmetric, only.values = FALSE, EISPACK = FALSE)其中：x 为矩阵，symmetric 项指定矩阵 x 是否为对称

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

矩阵求逆可用函数 solve()，应用 solve(a, b)运算结果是解线性方程组 ax = b，若 b 缺省，则系统默认为单位矩阵，因此可用其进行矩阵求逆，例如：> a=matrix(rnorm(16),4,4)> a[,1] [,2] [,3] [,4][1,] 1.6986019 0.5239738 0.2332094 0.3174184[2,] -0.2010667 1.0

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

矩阵对角元素相关运算

例如要取一个方阵的对角元素，> A=matrix(1:16,nrow=4,ncol=4)> A[,1] [,2] [,3] [,4][1,] 1 5 9 13[2,] 2 6 10 14[3,] 3 7 11 15[4,] 4 8 12 16> diag(A)[1] 1 6 11 16对一个向量应用 diag()函数将产生以这个向量为对角元素的对角矩阵，例如：> diag(d

0.0000

0

1

0

关注作者

收藏

啊啊啊啊啊吖

矩阵转置怎么求

A 为 m×n 矩阵，求 A'在 R 中可用函数 t()，例如：> A=matrix(1:12,nrow=3,ncol=4)> A[,1] [,2] [,3] [,4][1,] 1 4 7 10[2,] 2 5 8 11[3,] 3 6 9 12> t(A)[,1] [,2] [,3][1,] 1 2 3[2,] 4 5 6[3,] 7 8 9[4,] 10 11 12

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

简单回归；回归预测

401k.RAW 中的数据是帕普克（Papke， 1995）所分析数据的一个子集，帕普克是为了研究 401（k）养老金计划的参与率和该计划的慷慨程度之间的关系。变量 prate 是有资格参与该计划的员工中拥有活动账户的百分比，也是我们要解释的变量。慷慨程度指标是计划的匹配率mrate。这个变量给出了员工每向这个账户存 1 美元，公司为该员工匹配的平均数量。例如，mrate=0.50，则员工

0.0000

0

1

0

关注作者

收藏

PGC123

hadoop 常见配置文件

配置文件有两种类型：一种是__-default.xml（只读，默认的配置）一种是#x662F;__-site.xml（替换default中的配置）常用的文件有：core-site.xml 配置公共属性hdfs-site.xml 配置HDFSyarn-site.xml 配置YARNmapred-site.xml 配置MapReduce

0.0000

0

7

0

关注作者

收藏

wangjuju123

分布特征、其他趋势的描述指标

除了以上两大基本趋势外，随着对数据特征了解的逐步深入，研究者常常会提出假设，认为该数据所在的总体应当服从某种分布。那么，针对每一种分布类型，都可以由一系列的指标来描述数据偏离分布的程度。例如对正态分布而言，偏度系数和峰度系数可以用来反映当前数据偏离正态分布的程度。相对而言，这些分布指标使用得较少。由于假定的分布不同，所使用的分布特征描述指标也会有所差异，这里我们只简单介绍和正态分布有关的

0.0000

0

3

0

关注作者

收藏

wangjuju123

离散趋势的描述指标

显然，仅仅反映数据的集中趋势是远远不够的，还要反映数据的离散趋势，即数据的波动范围，描述该趋势的统计量称为尺度统计量(Scale Statistic)，常用的尺度统计量有标准差、方差、四分位间距等。全距(Range)：全距又称为极差，即一组数据中大值与小值之差，它是简单的变异指标，但因其过于简单，因此一般只用于预备性检查。方差(Variance)和标准差(Standard Devia

0.0000

0

3

0

关注作者

收藏

啊啊啊啊啊吖

按条件整合数据； T 检验

JTRAIN2.RAW 中的数据，来自 1976-1977 年对低收入男性进行的一项工作培训实验；参见Lalonde(1986)。（1）利用指标变量 train 来确定得到工作培训的男性比例。（2）变量 re78 是 1978 年得到的工资，以 1982 年的美元度量。针对得到工作培训的男性样本和未得到工作培训的男性样本，分别计算 re78 的平均值。二者在经济上的差别大吗？（3）变量

0.0000

0

2

0

关注作者

收藏

wangjuju123

变量的测量尺度

如果只使用变量类型，很多时候并不能准确地说明变量的含义和属性，因此还需要进一步给变量增加测量尺度这一属性。在统计学中，按照对事物描述的精确程度，将所采用的测量尺度从低级到高级分为 4 个层次：定类尺度、定序尺度、定距尺度和定比尺度。 1. 定类尺度定类尺度(Nominal Measurement)是对事物的类别或属性的一种测度，按照事物的某种属性对其进行分类或分组。定类变量的特点是其值仅代

0.0000

0

2

0

关注作者

收藏

<1…486487488…531>

CDA考试动态

CDA报考指南