数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

zxq997

hive启动时报错 jline.Terminal错误

Hive启动报错： Found class jline.Terminal, but interface was expected答：原因是hadoop目录下存在老版本jline:-rw-r--r-- 1 root root 87325 Mar 10 18:10 jline-0.9.94.jar解决：cp hive安装目录/lib/jline-2.12.jar hadoop安装目录

0.3660

1

2

0

关注作者

收藏

dreamhappy2012

用于逻辑回归的伪R^2

问、用于逻辑回归的伪R^2答：之前讲过一个效应的计算式 : (范围0-1)下面我们来看块0的分类表,表中的百分比表示不含自变量的百分比,也就是说通过Y值计算出不违约人数占总人数的百分比 :称之为随机猜测的起点min 这个是块1的分类表加入了自变量之后的结果,这个表中的百分比即为Xi,通过计算得出继续来看块1的数据,从中

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

怎么去评判R^2的标准呢?

问、怎么去评判R^2的标准呢?答：

33.9199

1

1

0

关注作者

收藏

dreamhappy2012

相关系数r和决定系数R^2的区别

问、相关系数r和决定系数R^2的区别答：相关系数 :r用于线性回归模型中的预分析,模型的整体评价指标上图是绩效总分与适应总分之间的相关性图表,第一:我们先看相关性表的显著性指标也叫p值或者sig值,若p值大于0.05,则该相关性没有统计意义,若小于0.05,则表明两者具有相关性,且|r|值越大相关性越强决定系数 : 用于线性回归模型中的建模,模型的细节指标. 该模型

0.0000

0

0

0

关注作者

收藏

dreamhappy2012

什么是决定系数？

问、什么是决定系数？答：1.定义: 又称为拟合优度,表示根据自变量的改变来解释因变量的改变的部分.2.公式: (解释平方和,总离差平方和) SEE是Y的估计值与平均值的差的平方和,SST是Y的实际值与平均值的差的平方和.

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

皮尔逊相关系数的定义?

问、皮尔逊相关系数的定义?答：1.定义:用于度量两个变量之间的相关程度，其值介于-1与1之间。皮尔逊相关系数定义为两个变量之间的协方差和标准差的商.2.公式: 总体相关系数样本相关系数(皮尔逊相关系数)

33.9199

1

3

0

关注作者

收藏

PGC123

数据分布在100台电脑中，如何高效统计出这批数据的top10

海量数据分布在100台电脑中，想个办法高效统计出这批数据的TOP10答：方案1: 在每台电脑上求出TOP10，可以采用包含10个元素的堆完成(TOP10小，用最大堆，TOP10大，用最小堆)。比如求TOP10大，我们首先取前10个元素调整成最小堆，如果发现，然后扫描后面的数据，并与堆顶元素比较，如果比堆顶元素大，那么用该元素替换堆顶，然后再调整为最小堆。最后堆中的

66.5673

1

1

0

关注作者

收藏

PGC123

hive分区代码如何写？

写出将 text.txt 文件放入 hive 中 test 表‘2018-10-10’ 分区的语句，test 的分区字段是 l_date。答： LOAD DATA LOCAL INPATH '/your/path/test.txt' OVERWRITE INTO TABLE test PARTITION (l_date='2018-10-10')

43.5548

1

2

0

关注作者

收藏

PGC123

hive字符串面试题

写出hive中split、coalesce及collect_list函数的用法（可举例）。答： Split将字符串转化为数组。split('a,b,c,d' , ',') ==> ["a","b","c","d"]COALESCE(T v1, T v2, …) 返回参数中的第一个非空值；如果所有值都为 NULL，那么返回NULL。collect_list列出该字段所有的值，不去重

33.9132

1

2

0

关注作者

收藏

PGC123

关于null的问题

简要描述数据库中的 null，说出null在hive底层如何存储，并解释selecta.* from t1 a left outer join t2 b on a.id=b.id where b.id is null; 语句的含义答： null与任何值运算的结果都是null, 可以使用is null、is not null函数指定在其值为null情况下的取值。null在hive底层默认是

0.0000

0

4

0

关注作者

收藏

PGC123

hive表关联查询，如何解决数据倾斜的问题?

倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。1)、key分布不均匀;2)、业务数据本身的特性;3)、建表时考虑不周;4)、某些SQL语句本身就有数据倾斜;如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。解决方案1>.参数调节：hive.map

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

怎么借助dict函数生成一个字典对象？

问、怎么借助dict函数生成一个字典对象？答： In [15]: dict(A=1,B=2,C=3)Out[15]: {'A': 1, 'B': 2, 'C': 3}In [16]: dict([("A",1),("B",2),("C",3)])Out[16]: {'A': 1, 'B': 2, 'C': 3}

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

字典对象怎么直接生成？

问、字典对象怎么直接生成？答：>>> dic1 = {'zhangsan':'zhangsan@126.com',... 'lisi':'lisi@163.com',... 'wangwu':'wangwu@126.com',... 'zhaoliu':'zhangliu@126.com'}

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

什么是字典（dict）对象

问、什么是字典（dict）对象答：•字典类似于你通过联系人名字查找地址和联系人详细情况的地址簿，即，我们把键（名字）和值（详细情况）联系在一起。注意，键必须是唯一的，就像如果有两个人恰巧同名的话，你无法找到正确的信息。•注意，你只能使用不可变的对象（比如字符串数值布尔对象元组）来作为字典的键，但是键对应的值可以是可以是可变对象，也可以是不可变对象。基本说来就是，你应该只使用简单的对象作

43.5548

1

3

0

关注作者

收藏

dreamhappy2012

元组对象的拆包

问、元组对象的拆包答：>>> a=(1,2,(3,4))>>> b,c,d=a>>> b1>>> c2>>> d(3, 4)>>> >>> a=(1,2,(3,4))>>> b,c,(d1,d2)=a>>> b1>>> c2>>> d13>>> d24

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

元组对象index属性？

问、元组对象index属性：答：计算某个值第一次出现对应的索引>>> tuple1=(1,2,3,1)>>> tuple1.index(1)0如果没找到对应值则返回一个错误提示

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

元组对象count属性：计算某个值出现了多少次。

问、元组对象count属性：计算某个值出现了多少次。答：>>> tuple1=(1,2,3,1)>>> tuple1.count(1)2

43.5548

1

1

0

关注作者

收藏

zxq997

对似然比检验和Wald测试的理解

似然比检验似然比检验提供了用于比较一个模型（例如，完整模型）下的数据的可能性与另一个更受限制的模型（例如，截距模型）下的数据的可能性的手段。a其中' p ' 是逻辑模型预测概率。下一步是计算这两个对数似然之间的差异。 a两个可能性之间的差异乘以因子2，以便使用标准显着性水平（Chi2检验）评估统计显着性。测试的自由度将等于模型下估计的参数数量的差异（例如，完整和截距）。 Wald

0.3660

1

2

0

关注作者

收藏

zxq997

矩阵QR分解学习分享

A为m×n矩阵可以进行QR分解，A=QR，其中：Q'Q＝I，在R中可以用函数qr()进行QR分解，例如：> A=matrix(1:16,4,4)> qr(A)$qr[,1] [,2] [,3] [,4][1,] -5.4772256 -12.7801930 -2.008316e 01 -2.738613e 01[2,] 0.3651484 -3.2659863 -6.531973e

0.3660

1

0

0

关注作者

收藏

zxq997

如果两件事同时发生概率应当如何计算呢，例如天气=下雪且星期几=2？不难想到，这个概率应该等于两件事情都为真的次数除以所有事件发生的总次数。简单来计算一下：只有一个样本点满足天气=下雪且星期几=2，所以这个概率应当是1/7。这种联合事件的概率一般用逗号隔开的变量来表示： P(天气=雪天，星期几=2)。一般地，对事件X和Y来说，对应的联合概率应该记为P(X, Y )。读者可能还看到过一些形如

0.0000

0

1

0

关注作者

收藏

<1…339340341…531>

CDA考试动态

CDA报考指南