数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

zxq997

hive中的OVER从句

hive中的OVER从句1、使用标准的聚合函数COUNT、SUM、MIN、MAX、AVG 2、使用PARTITION BY语句，使用一个或者多个原始数据类型的列 3、使用PARTITION BY与ORDER BY语句，使用一个或者多个数据类型的分区或者排序列 4、使用窗口规范，窗口规范支持以下格式：(ROWS | RANGE) BETWEEN (UNBOUNDED | [num])

0.3660

1

3

0

关注作者

收藏

zxq997

初始化hive的时候提示没有spark相关的包

初始化hive的时候报错：ls: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or directory这是什么原因？答：原因是spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembl

0.0000

0

3

0

关注作者

收藏

zxq997

hive启动时报错 jline.Terminal错误

Hive启动报错： Found class jline.Terminal, but interface was expected答：原因是hadoop目录下存在老版本jline:-rw-r--r-- 1 root root 87325 Mar 10 18:10 jline-0.9.94.jar解决：cp hive安装目录/lib/jline-2.12.jar hadoop安装目录

0.3660

1

2

0

关注作者

收藏

dreamhappy2012

用于逻辑回归的伪R^2

问、用于逻辑回归的伪R^2答：之前讲过一个效应的计算式 : (范围0-1)下面我们来看块0的分类表,表中的百分比表示不含自变量的百分比,也就是说通过Y值计算出不违约人数占总人数的百分比 :称之为随机猜测的起点min 这个是块1的分类表加入了自变量之后的结果,这个表中的百分比即为Xi,通过计算得出继续来看块1的数据,从中

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

怎么去评判R^2的标准呢?

问、怎么去评判R^2的标准呢?答：

33.9199

1

1

0

关注作者

收藏

dreamhappy2012

相关系数r和决定系数R^2的区别

问、相关系数r和决定系数R^2的区别答：相关系数 :r用于线性回归模型中的预分析,模型的整体评价指标上图是绩效总分与适应总分之间的相关性图表,第一:我们先看相关性表的显著性指标也叫p值或者sig值,若p值大于0.05,则该相关性没有统计意义,若小于0.05,则表明两者具有相关性,且|r|值越大相关性越强决定系数 : 用于线性回归模型中的建模,模型的细节指标. 该模型

0.0000

0

0

0

关注作者

收藏

dreamhappy2012

什么是决定系数？

问、什么是决定系数？答：1.定义: 又称为拟合优度,表示根据自变量的改变来解释因变量的改变的部分.2.公式: (解释平方和,总离差平方和) SEE是Y的估计值与平均值的差的平方和,SST是Y的实际值与平均值的差的平方和.

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

皮尔逊相关系数的定义?

问、皮尔逊相关系数的定义?答：1.定义:用于度量两个变量之间的相关程度，其值介于-1与1之间。皮尔逊相关系数定义为两个变量之间的协方差和标准差的商.2.公式: 总体相关系数样本相关系数(皮尔逊相关系数)

33.9199

1

3

0

关注作者

收藏

PGC123

数据分布在100台电脑中，如何高效统计出这批数据的top10

海量数据分布在100台电脑中，想个办法高效统计出这批数据的TOP10答：方案1: 在每台电脑上求出TOP10，可以采用包含10个元素的堆完成(TOP10小，用最大堆，TOP10大，用最小堆)。比如求TOP10大，我们首先取前10个元素调整成最小堆，如果发现，然后扫描后面的数据，并与堆顶元素比较，如果比堆顶元素大，那么用该元素替换堆顶，然后再调整为最小堆。最后堆中的

66.5673

1

1

0

关注作者

收藏

PGC123

hive分区代码如何写？

写出将 text.txt 文件放入 hive 中 test 表‘2018-10-10’ 分区的语句，test 的分区字段是 l_date。答： LOAD DATA LOCAL INPATH '/your/path/test.txt' OVERWRITE INTO TABLE test PARTITION (l_date='2018-10-10')

43.5548

1

2

0

关注作者

收藏

PGC123

hive字符串面试题

写出hive中split、coalesce及collect_list函数的用法（可举例）。答： Split将字符串转化为数组。split('a,b,c,d' , ',') ==> ["a","b","c","d"]COALESCE(T v1, T v2, …) 返回参数中的第一个非空值；如果所有值都为 NULL，那么返回NULL。collect_list列出该字段所有的值，不去重

33.9132

1

2

0

关注作者

收藏

PGC123

关于null的问题

简要描述数据库中的 null，说出null在hive底层如何存储，并解释selecta.* from t1 a left outer join t2 b on a.id=b.id where b.id is null; 语句的含义答： null与任何值运算的结果都是null, 可以使用is null、is not null函数指定在其值为null情况下的取值。null在hive底层默认是

0.0000

0

4

0

关注作者

收藏

PGC123

hive表关联查询，如何解决数据倾斜的问题?

倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。1)、key分布不均匀;2)、业务数据本身的特性;3)、建表时考虑不周;4)、某些SQL语句本身就有数据倾斜;如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。解决方案1>.参数调节：hive.map

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

怎么借助dict函数生成一个字典对象？

问、怎么借助dict函数生成一个字典对象？答： In [15]: dict(A=1,B=2,C=3)Out[15]: {'A': 1, 'B': 2, 'C': 3}In [16]: dict([("A",1),("B",2),("C",3)])Out[16]: {'A': 1, 'B': 2, 'C': 3}

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

字典对象怎么直接生成？

问、字典对象怎么直接生成？答：>>> dic1 = {'zhangsan':'zhangsan@126.com',... 'lisi':'lisi@163.com',... 'wangwu':'wangwu@126.com',... 'zhaoliu':'zhangliu@126.com'}

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

什么是字典（dict）对象

问、什么是字典（dict）对象答：•字典类似于你通过联系人名字查找地址和联系人详细情况的地址簿，即，我们把键（名字）和值（详细情况）联系在一起。注意，键必须是唯一的，就像如果有两个人恰巧同名的话，你无法找到正确的信息。•注意，你只能使用不可变的对象（比如字符串数值布尔对象元组）来作为字典的键，但是键对应的值可以是可以是可变对象，也可以是不可变对象。基本说来就是，你应该只使用简单的对象作

43.5548

1

3

0

关注作者

收藏

dreamhappy2012

元组对象的拆包

问、元组对象的拆包答：>>> a=(1,2,(3,4))>>> b,c,d=a>>> b1>>> c2>>> d(3, 4)>>> >>> a=(1,2,(3,4))>>> b,c,(d1,d2)=a>>> b1>>> c2>>> d13>>> d24

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

元组对象index属性？

问、元组对象index属性：答：计算某个值第一次出现对应的索引>>> tuple1=(1,2,3,1)>>> tuple1.index(1)0如果没找到对应值则返回一个错误提示

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

元组对象count属性：计算某个值出现了多少次。

问、元组对象count属性：计算某个值出现了多少次。答：>>> tuple1=(1,2,3,1)>>> tuple1.count(1)2

43.5548

1

1

0

关注作者

收藏

zxq997

对似然比检验和Wald测试的理解

似然比检验似然比检验提供了用于比较一个模型（例如，完整模型）下的数据的可能性与另一个更受限制的模型（例如，截距模型）下的数据的可能性的手段。a其中' p ' 是逻辑模型预测概率。下一步是计算这两个对数似然之间的差异。 a两个可能性之间的差异乘以因子2，以便使用标准显着性水平（Chi2检验）评估统计显着性。测试的自由度将等于模型下估计的参数数量的差异（例如，完整和截距）。 Wald

0.3660

1

2

0

关注作者

收藏

<1…339340341…531>

CDA考试动态

CDA报考指南