数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

zxq997

hive中的OVER从句

hive中的OVER从句1、使用标准的聚合函数COUNT、SUM、MIN、MAX、AVG 2、使用PARTITION BY语句，使用一个或者多个原始数据类型的列 3、使用PARTITION BY与ORDER BY语句，使用一个或者多个数据类型的分区或者排序列 4、使用窗口规范，窗口规范支持以下格式：(ROWS | RANGE) BETWEEN (UNBOUNDED | [num])

0.3660

1

3

0

关注作者

收藏

zxq997

hive 命令行无法进入错误

启动Hadoop集群之后无法启动hive命令行，报错信息如下：a这是什么问题？答：hdfs刚启动的时候会进行大量的初始化操作，这个时候hdfs处于安全模式，是不允许对其进行写操作的，因此会报错。安全模式默认会在30秒后解除，等待30秒再启动hive即可。

0.0000

0

0

0

关注作者

收藏

zxq997

hive启动时报错 jline.Terminal错误

Hive启动报错： Found class jline.Terminal, but interface was expected答：原因是hadoop目录下存在老版本jline:-rw-r--r-- 1 root root 87325 Mar 10 18:10 jline-0.9.94.jar解决：cp hive安装目录/lib/jline-2.12.jar hadoop安装目录

0.3660

1

2

0

关注作者

收藏

dreamhappy2012

用于逻辑回归的伪R^2

问、用于逻辑回归的伪R^2答：之前讲过一个效应的计算式 : (范围0-1)下面我们来看块0的分类表,表中的百分比表示不含自变量的百分比,也就是说通过Y值计算出不违约人数占总人数的百分比 :称之为随机猜测的起点min 这个是块1的分类表加入了自变量之后的结果,这个表中的百分比即为Xi,通过计算得出继续来看块1的数据,从中

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

相关系数r和决定系数R^2的区别

问、相关系数r和决定系数R^2的区别答：相关系数 :r用于线性回归模型中的预分析,模型的整体评价指标上图是绩效总分与适应总分之间的相关性图表,第一:我们先看相关性表的显著性指标也叫p值或者sig值,若p值大于0.05,则该相关性没有统计意义,若小于0.05,则表明两者具有相关性,且|r|值越大相关性越强决定系数 : 用于线性回归模型中的建模,模型的细节指标. 该模型

0.0000

0

0

0

关注作者

收藏

PGC123

hive表关联查询，如何解决数据倾斜的问题?

倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。1)、key分布不均匀;2)、业务数据本身的特性;3)、建表时考虑不周;4)、某些SQL语句本身就有数据倾斜;如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。解决方案1>.参数调节：hive.map

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

怎么借助dict函数生成一个字典对象？

问、怎么借助dict函数生成一个字典对象？答： In [15]: dict(A=1,B=2,C=3)Out[15]: {'A': 1, 'B': 2, 'C': 3}In [16]: dict([("A",1),("B",2),("C",3)])Out[16]: {'A': 1, 'B': 2, 'C': 3}

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

字典对象怎么直接生成？

问、字典对象怎么直接生成？答：>>> dic1 = {'zhangsan':'zhangsan@126.com',... 'lisi':'lisi@163.com',... 'wangwu':'wangwu@126.com',... 'zhaoliu':'zhangliu@126.com'}

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

元组对象的拆包

问、元组对象的拆包答：>>> a=(1,2,(3,4))>>> b,c,d=a>>> b1>>> c2>>> d(3, 4)>>> >>> a=(1,2,(3,4))>>> b,c,(d1,d2)=a>>> b1>>> c2>>> d13>>> d24

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

元组对象index属性？

问、元组对象index属性：答：计算某个值第一次出现对应的索引>>> tuple1=(1,2,3,1)>>> tuple1.index(1)0如果没找到对应值则返回一个错误提示

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

元组对象count属性：计算某个值出现了多少次。

问、元组对象count属性：计算某个值出现了多少次。答：>>> tuple1=(1,2,3,1)>>> tuple1.count(1)2

43.5548

1

1

0

关注作者

收藏

W11YA

float(x), int(x), long(x)

float(x), int(x), long(x) 浮点数、整数、长整数之间的转换In [196]: print float('13'), float(13)13.0 13.0In [197]: print int('14'), int(14)14 14In [198]: print long('15'), long(15)15 15

0.0000

0

3

0

关注作者

收藏

zxq997

矩阵QR分解学习分享

A为m×n矩阵可以进行QR分解，A=QR，其中：Q'Q＝I，在R中可以用函数qr()进行QR分解，例如：> A=matrix(1:16,4,4)> qr(A)$qr[,1] [,2] [,3] [,4][1,] -5.4772256 -12.7801930 -2.008316e 01 -2.738613e 01[2,] 0.3651484 -3.2659863 -6.531973e

0.3660

1

0

0

关注作者

收藏

zxq997

怎么实现矩阵里的转置

import pandas as pdimport numpy as npimport matplotlib.pyplot as plts=pd.Series([1,3,5,np.nan,6,8])dates=pd.date_range('20130101',periods=6)df=pd.DataFrame(np.random.rand(6,4),index=dates,columns

43.5548

1

1

0

关注作者

收藏

W11YA

bool(x) 如果x是真则返回True，否则返回FalseIn [184]: print bool(3), bool('a')True TrueIn [185]: print bool(0), bool(''), bool(None)False False False

0.0000

0

1

0

关注作者

收藏

W11YA

sum(sequence[, start])

sum(sequence[, start]) 对一个数字序列求和，start为起始位置，默认从0开始In [175]: sum([1,2,3,4])Out[175]: 10

35.1908

1

2

0

关注作者

收藏

W11YA

round(number[, ndigits])

round(number[, ndigits]) 返回一个数的四舍五入值，给出ndigits则四舍五入到第n位小数In [170]: round(3.45)Out[170]: 3.0In [171]: round(3.55)Out[171]: 4.0In [172]: round(3.55345, 3)Out[172]: 3.553

0.0000

0

3

0

关注作者

收藏

W11YA

pow(x, y[, z]) 返回x的y次幂，如果有参数z则返回幂除以z的余数（对z取模）In [166]: pow(2,3)Out[166]: 8In [167]: pow(2,3,5)Out[167]: 3

0.0000

0

2

0

关注作者

收藏

W11YA

max(iterable[, key])

max(iterable[, key]) 返回一个序列的最大元素In [157]: max([(1,2,3), (4,5,6), (23,4,1,)], key=lambda a: a[-1])Out[157]: (4, 5, 6)In [158]: max(1,2,3,4,4,5)Out[158]: 5In [159]: max([(1,2,3), (4,5,6), (23,4,1,

35.1908

1

0

0

关注作者

收藏

W11YA

divmod(x, y) 返回x除以y的商和余数In [143]: divmod(12, 7)Out[143]: (1, 5)

19.6480

1

1

0

关注作者

收藏

<1…252253254…404>

CDA考试动态

CDA报考指南