数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

赵娜0418

自由度有哪些性质

自由度1、按着这一逻辑，如果对n个观测值附加的约束个数为k个，自由度则为n-k，2、当样本数据的个数为n时，若样本平均数确定后，则附加给n个观测值的约束个数就是1个，因此只有n-1个数据可以自由取值，其中必有一个数据不能自由取值3、从字面涵义来看，自由度是指一组数据中可以自由取值的个数，4、自由度是指数据个数与附加给独立的观测值的约束或限制的个数之差

0.8680

2

1

0

关注作者

收藏

赵娜0418

怎样解释切比雪夫不等式

切比雪夫不等式• 对于k=2，3，4，该不等式的含义是1. 至少有75%的数据落在平均数加减2个标准差的范围之内2. 至少有89%的数据落在平均数加减3个标准差的范围之内3. 至少有94%的数据落在平均数加减4个标准差的范围之内对于任意分布形态的数据，根据切比雪夫不等式，至少有1-1/k方的数据落在平均数加减k个标准差之内。其中k是大于1的任意值，但不一定是整数

0.7194

2

1

0

关注作者

收藏

田齐齐

excel跨工作簿怎么合并俩个表？

前提：一维表结构；列字段相同；无合并单元格由于数据来源于不同工作薄的不同表，所以“同一工作簿合并俩表”第三步中页字段数据全部设置为2，字段1和字段2分别命名为对应表的工作薄和工作表名称。

2.8822

1

2

0

关注作者

收藏

田齐齐

多重共线性与统计假设检验有什么区别，怎么区分？

多重共线性与统计假设没有直接关联，但是对于解释多元回归的结果非常重要。相关系数反应两个变量之间的相关性；回归系数是假设其他变量不变，自变量变化一个单位，对因变量的影响，而存在多重共线性（变量之间相关系数很大），就会导致解释困难；比如y~x1 x2；x·1与x2存在多重共线性，当x1变化一个单位，x2不变，对y的影响；而x1与x2高度相关，就会解释没有意义。

0.0000

0

4

0

关注作者

收藏

田齐齐

为什么要对相关系数进行显著性检验？

1）实际上完全没有关系的变量，在利用样本数据进行计算时也可能得到一个较大的相关系数值（尤其是时间序列数值）2）当样本数较少，相关系数就很大。当样本量从100减少到40后，相关系数大概率会上升，但上升到多少，这个就不能保证了；取决于你的剔除数据原则，还有这组数据真的可能不存在相关性；

0.0000

0

5

0

关注作者

收藏

赵娜0418

全概率相关题目

某PC产品由甲、乙、丙三个供应商供货，供应商的次品率分别为4%、3%、2%，它们各自的供货分别占总产量的25%、35%、40%，将它们的产品组合在一起，求任取一个是次品的概率。解：设 A 1 表示“产品来自甲供应商”， A 2 表示“产品来自乙供应商”， A 3表示“产品来自丙供应商”， B表示“取到次品”。根据全概率公式有

1.2364

2

0

0

关注作者

收藏

田齐齐

两独立样本T检验的适用范围是什么？

两独立样本t检验，又称成组t检验，两总体t检验，两样本均数比较的t检验，适用于完全随机设计两样本均数的比较。检验目的：根据样本数据对两个样本来自的两个独立总体的均值是否有显著差异进行判断。二、需要满足的条件：1、随机抽样，所有观测应该是随机的从目标总体中抽出。2、正态分布，每个样本来自的总体必须满足正态分布。3、方差齐性，均数比较时，要求两总体方差相等。

0.0000

0

3

0

关注作者

收藏

赵娜0418

在计算（1-2）时假设出现某项是零了怎么办？

在计算（1-2）时假设出现某项是零了怎么办？答：有两种方法：（1）拉普拉斯校准或拉普拉斯估计法。假定训练数据库D很大，使得需要的每个技术加1造成的估计概率的变化可以忽略不计，但可以方便的避免概率值为零的情况。（如果对q个计数都加上1，则我们必须在用于计算概率的对应分母上加上q）。（2）条件概率的m估计。P(Xi | Yi) = (nc mp) / (n m)其中，n是类yi中的实例总数

0.7194

2

2

0

关注作者

收藏

读童话的狼

为什么需要对数据做归一化？

1.消除纲量，加快收敛不同特征往往具有不同的量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据归一化处理，以解决数据指标之间的可比性。原始数据经过数据归一化处理后，各指标处于[0,1]之间的小数，适合进行综合对比评价。2.可能提高精度

0.0000

0

0

0

关注作者

收藏

田齐齐

时间序列异常点检测

1 利用过去一段历史窗口针对下个节点值做预测（利用平均值，方差信息），若是其超过了一定的阈值，则是个异常点。2 对异常点的数值进行平滑，以便评估下下个点是否为异常点。因为不做平滑，由于当前是个异常点，对平均值、方差影响较大，若是下一个点仍是异常点，可能不会识别。

0.0000

0

4

0

关注作者

收藏

赵娜0418

决策树中出现过分你和应该怎么处理？

决策树中出现过分你和应该怎么处理？答： A)：先剪枝（提前终止规则）：当观察到的不纯性度量的增益（或估计的泛化误差的改进）低于某个确定的阈值时就停止扩展叶节点。B)：初始决策树按照最大规模生长，然后进行剪枝的步骤，按照自底向上的方式修剪完全增长的决策树。修剪有两种方法：（1）用新的叶节点替换子树，该叶节点的类标号由子树下记录中的多数类确定；（2）用子树中常见的分支替代子树。当模型不能再改进时终止

0.7194

2

2

0

关注作者

收藏

赵娜0418

泛化误差的估计有哪些？

泛化误差的估计有哪些？答：（1）乐观估计（决策树归纳算法简单的选择产生最低训练误差的模型作为最终的模型）（2）悲观误差估计（使用训练误差与模型复杂度罚项的和计算泛化误差）（3）最小描述长度原则（模型编码的开销加上误分类记录编码的开销）（4）估计统计上界（泛化误差可以用训练误差的统计修正来估计，因为泛化误差倾向于比训练误差大，所以统计修正通常是计算训练误差的上界）（4）使用确认集（如2/3的训练集

0.7194

2

0

0

关注作者

收藏

赵娜0418

造成过拟合的原因是什么？

造成过拟合的原因是什么？答：造成原因有：（1）噪声造成的过分拟合（因为它拟合了误标记的训练记录，导致了对检验集中记录的误分类）；（2）根据少量训练记录做出分类决策的模型也容易受过分拟合的影响。（由于训练数据缺乏具有代表性的样本，在没有多少训练记录的情况下，学习算法仍然继续细化模型就会产生这样的模型，当决策树的叶节点没有足够的代表性样本时，很可能做出错误的预测）（3）多重比较也可能会导致过分拟合（

0.8933

2

3

0

关注作者

收藏

赵娜0418

BBN的特点问题

朴素贝叶斯没有学习的过程，那么是否可以说朴素贝叶斯是消极学习法分类？答：（1）朴素贝叶斯只是贝叶斯分类的一种实现形式，而实现形式还有贝叶斯网络但是贝叶斯网络是有学习过程的。所以不能说贝叶斯分类时消极学习法。（2）其实朴素贝叶斯是消极学习方法

0.9769

2

0

0

关注作者

收藏

大魔王泛泛

如何创建RDD？

创建RDD有三种方式：1、可以从一个Scala集合里面创建： sc.parallelize(data)：把data这个数据并行化分片到节点 sc.makeRDD(data)：把data这个数据并行化分片到节点，它的实现就是parallelize sc.makeRDD(data[(T,seq)])：这种方式可以指定RDD的存放位置2、根据外部数据源来创建，如sc

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

简述Spark中的RDD

RDD（Resilient Distributed Dataset）：弹性分布式数据集它有几种特性：1. RDD有不可变性 2. RDD是可分区的 3. RDD是弹性的：弹性表现在存储的灵活性、可容错性、分层计算、可调整数据的分布情况

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

在scala中什么是颗粒化操作

将原来接收两个参数的一个函数转换成2个这就是颗粒化操作def sum(a: Int, b: Int) = a bprintln(sum(2,3))def sum1(a: Int)(b: Int) = a bprintln(sum1(2)(3))

0.0000

0

0

0

关注作者

收藏

田齐齐

P值怎么计算？

一般地，用X 表示检验的统计量，当H0为真时，可由样本数据计算出该统计量的值C，根据检验统计量X的具体分布，可求出P值。具体地说：左侧检验的P值为检验统计量X 小于样本统计值C 的概率，即：P = P{ X < C}右侧检验的P值为检验统计量X 大于样本统计值C 的概率：P = P{ X > C}双侧检验的P值为检验统计量X 落在样本统计值C 为端点的尾部区域内的概率的2 倍：P = 2P{

0.0000

0

1

0

关注作者

收藏

田齐齐

假设检验里面如何确定t的临界值？

假设检验(Hypothesis Testing)是数理统计学中根据一定假设条件由样本推断总体的一种方法。具体作法是:根据问题的需要对所研究的总体作某种假设，记作H0;选取合适的统计量，这个统计量的选取要使得在假设H0成立时，其分布为已知;由实测的样本，计算出统计量的值，并根据预先给定的显著性水平进行检验，作出拒绝或接受假设H0的判断。常用的假设检验方法有u-检验法、t检验法、χ2检验

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

scala中模式匹配有哪些类型

1. 基本数据类型模式匹配2. Array 模式匹配3. List 模式匹配4. case class 模式匹配5. Some

0.0000

0

5

0

关注作者

收藏

<1…318319320…530>

CDA考试动态

CDA报考指南