数据分析师-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

gracejpw1117

大数据分析平台的演进之路

1、石器时代大数据技术刚起步时平台架构很简单，数据流从日志通过RSYNC(linux系统下的数据镜像备份工具)流入到Hive，然后通过Hive SQL语句统计分析，结果导入到MySQL，最后形成报表展示。整个流程的驱动基于Shell脚本完成，报表系统和数据处理是利用Java实现。所有业务需求都是手工处理，所有报表都要写Java代码开发，这个给开发人员造成了很大的工作量，并且用户获取数据周期长，速度

29.9282

3

3

0

关注作者

收藏

LXM21

过拟合和欠拟合

模型在训练集上的误差被称为训练误差或经验误差，在测试集上的误差被称为泛化误差。在机器学习中，过拟合指模型在训练集上表现良好，在测试集表现很差，说明泛化误差超过了经验误差，拟合过度，模型泛化能力降低，只适用于训练集，通用性不强；欠拟合指模型在训练集中的表现就很差，说明经验误差大，如下图所示：过拟合：欠拟合：

32.5213

5

7

0

关注作者

收藏

LXM21

L2范式和L1范式

Ridge: L2范式约束条件是一个圆，最优值好像都不等于 Lasso: L1范式约束条件，是一个带角的形状，最优值很容易在在拐点上找到，这个拐点正好是在坐标轴上L2范式：两个函数仅有一个交点的重要前提，就是这两个函数在这个点上所有分别计算出来的切线要一模一样，这个条件非常的苛刻L1范式，形状是有角的，在角的地方，切线是不唯一，是在范围之内的。所有右的等高线在碰过来的时候，条件很轻松，只要在这个拐

32.8764

5

1

0

关注作者

收藏

陈革007

统计学: 相关系数的性质

性质1：r 的取值范围是 [-1,1]n |r|=1，为完全相关l r =1，为完全正相关l r =-1，为完全负正相关n r = 0，不存在线性相关关系n -1£r

30.3605

8

3

0

关注作者

收藏

陈革007

统计学: 什么是方差分析(ANOVA)? ---analysis of variance

检验多个总体均值是否相等通过分析数据的误差判断各总体均值是否相等研究分类型自变量对数值型因变量的影响一个或多个分类型自变量l 两个或多个 (k 个) 处理水平或分类一个数值型因变量3.有单因素方差分析和双因素方差分析单因素方差分析：涉及一个分类的自变量双因素方差分析：涉及两个分类的自变量

30.3071

7

6

0

关注作者

收藏

陈革007

统计学: 什么是P 值? ---P-value

是一个概率值如果原假设为真，P-值是抽样分布中大于或小于样本统计量的概率n 左侧检验时，P-值为曲线上方小于等于检验统计量部分的面积n 右侧检验时，P-值为曲线上方大于等于检验统计量部分的面积 3.被称为观察到的(或实测的)显著性水平n H0 能被拒绝的最小值单侧检验n 若p-值 > a,不拒绝 H0n 若p-值 < a, 拒绝 H0 2. 双侧检验n 若p-值 > a/2,

30.4253

8

1

0

关注作者

收藏

陈革007

统计学: 置信区间 --- confidence interval

由样本统计量所构造的总体参数的估计区间称为置信区间统计学家在某种程度上确信这个区间会包含真正的总体参数，所以给它取名为置信区间用一个具体的样本所构造的区间是一个特定的区间，我们无法知道这个样本所产生的区间是否包含总体参数的真值n 我们只能是希望这个区间是大量包含总体参数真值的区间中的一个，但它也可能是少数几个不包含参数真值的区间中的一个n 总体参数以一定的概率落在这一区间的表述是错误的

30.2037

6

0

0

关注作者

收藏

陈革007

统计学: 正态分布函数的性质

概率密度函数在x 的上方，即f (x)>0正态曲线的最高点在均值m，它也是分布的中位数和众数正态分布是一个分布族，每一特定正态分布通过均值m和标准差s来区分。 m 决定了图形的中心位置, s决定曲线的平缓程度，即宽度曲线f(x)相对于均值m对称，尾端向两个方向无限延伸，且理论上永远不会与横轴相交正态曲线下的总面积等于1随机变量的概率由曲线下的面积给出

30.1308

5

1

0

关注作者

收藏

PanHero_龙宝宝

MySQL还挺难的

虽然上课都听懂了但每次都要对着老师以前讲过的题参考代码才能做出来根本没办法独立完成

38.2107

3

3

0

关注作者

收藏

lll

什么时候需要进行数据标准化，什么时候不需要进行数据标准化？

当原始数据不同维度上的特征的尺度（单位）不一致时，需要标准化步骤对数据进行预处理，反之则不需要进行数据标准化。例如下面这几类问题一般都需要进行数据标准化：1.回归问题2.机器学习算法3.训练神经网络4.聚类问题5.分类问题6.主成分分析（PCA）问题

29.8841

5

3

0

关注作者

收藏

赵娜0418

哑变量是什么？引入哑变量的目的是什么？

哑变量（Dummy Variable），也叫虚拟变量，引入哑变量的目的是，将不能够定量处理的变量量化，如职业、性别对收入的影响，战争、自然灾害对GDP的影响，季节对某些产品（如冷饮）销售的影响等等。这种“量化”通常是通过引入“哑变量”来完成的。根据这些因素的属性类型，构造只取“0”或“1”的人工变量，通常称为哑变量（dummy variables），记为D。举一个

30.7154

4

3

0

关注作者

收藏

PhilipLiang

map/reduce 函数

Python内建了map()和reduce()函数。map()函数接收两个参数，一个是函数，一个是Iterable, map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。举例说明，比如我们有一个函数f(x)=x2，要把这个函数作用在一个list [1, 2, 3, 4, 5, 6, 7, 8, 9]上, 就可以用map()实现如下：现在，我们用Python代码实现：m

37.7168

3

3

0

关注作者

收藏

LXM21

自相关和共线性的区别

自相关是误差向量的不独立的，共线性是样本误差之间是独立的，不一样的模型。误差不独立是自相关，一般就是对这种不独立来使用回归模型分析，分析的结果就是ARIMA模型，一般对于时间序列来看，误差的向量是不独立的。

38.7701

7

2

0

关注作者

收藏

LXM21

四个残差假设

1. 每一个计算出来的残差是独立的2. 残差的平均值为03. 残差的方差为常数，不变的4. 残差的分布是正太的

1.7552

5

3

0

关注作者

收藏

LXM21

决策树模型是监督模型吗?

决策树属于有监督模型，以信息熵（平均不确定性）为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶节点中的实例都属于同一类。监督学习，就是人们常说的分类，通过已有的训练样本（即已知数据以及其对应的输出）去训练得到一个最优模型，再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的，也就具有了对未知数据进行分类的能力。监督学习里典型的例子就是KNN

40.4147

4

0

0

关注作者

收藏

LXM21

基向量是什么？

简单来说就是，空间内任意向量都可以用这组向量表示，但是要求基向量必须是线性无关的。注意，基向量并不唯一，但是通常选取单位向量作为基向量，将基底都化为单位向量的做法（向量的单位化）。

2.4455

5

1

0

关注作者

收藏

陈革007

统计学: 切比雪夫不等式 ----Chebyshev’s inequality

如果一组数据不是对称分布，经验法则就不再适用，这时可使用切比雪夫不等式，它对任何分布形状的数据都适用切比雪夫不等式提供的是“下界”，也就是“所占比例至少是多少”对于任意分布形态的数据，根据切比雪夫不等式，至少有1-1/k2的数据落在平均数加减k个标准差之内。其中k是大于1的任意值，但不一定是整数Æ对于k=2，3，4，该不等式的含义是:至少有75%的数据落在平均数加减2个标准差的范围之内至少有89%

25.7270

6

1

0

关注作者

收藏

陈革007

统计学: 标准分数---standard score

1. 也称标准化值2. 对某一个值在一组数据中相对位置的度量3. 可用于判断一组数据是否有离群点(outlier)4. 用于对变量的标准化处理5. 计算公式为在后续的python机器学习中,经常会用到对数据做标准化处理, 非常重要哟

25.7270

6

1

0

关注作者

收藏

陈革007

统计学 : 自由度--degree of freedom

样本有3个数值，即x1=2，x2=4，x3=9，则 `x = 5。当 `x = 5 确定后，x1，x2和x3有两个数据可以自由取值，另一个则不能自由取值，比如x1=6，x2=7，那么x3则必然取2，而不能取其他值为什么样本方差的自由度为什么是n-1呢？因为在计算离差平方和时，必须先求出样本均值`x ，而`x则是附件给离差平方和的一个约束，因此，计算离差平方和时只有n-1个独立的观测值，而不是n个样

25.5457

3

1

0

关注作者

收藏

陈革007

统计学 : 众数、中位数、平均数的特点和应用

1.众数n 不受极端值影响n 具有不惟一性n 数据分布偏斜程度较大且有明显峰值时应用2.中位数n 不受极端值影响n 数据分布偏斜程度较大时应用3.平均数n 易受极端值影响n 数学性质优良n 数据对称分布或接近对称分布时应用

25.5731

5

1

0

关注作者

收藏

<1…596061…340>

CDA考试动态

CDA报考指南