数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

PGC123

本地模式（小任务）的时候hive的优化点有哪些？

本地模式（小任务）的时候hive的优化点有哪些？答：本地模式（小任务）可以从以下几个参数入手job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB)job的map数必须小于参数：hive.exec.mode.local.auto.tasks.max(默认4)job的reduce数必须为0或者1 hi

0.0000

0

2

0

关注作者

收藏

PGC123

hive分区和分桶的区别

hive分区和分桶的区别答：1、分区1）是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹，比如我们要收集某个大型网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表的内容巨大，在查询时进行全表扫描耗费的资源非常多。2）那其实这个情况下，我们可以按照日期对数据表进行分区，不同日期的数据存放在不同的分区，在查询时只要指定分区字

33.9199

1

2

0

关注作者

收藏

PGC123

Hive导出数据有几种方式？如何导出数据

Hive导出数据有几种方式？如何导出数据答： 1、用insert overwrite导出方式 1）、导出到本地： insert overwrite local directory ‘/home/robot/1/2’ rom format delimited fields terminated by ‘\t’ select * from staff;(递归创建目录)

33.9199

1

1

0

关注作者

收藏

PGC123

Hive中追加导入数据的4种方式是什么？请写出简要语法

Hive中追加导入数据的4种方式是什么？请写出简要语法答： 1、从本地导入： load data local inpath ‘/home/1.txt’ (overwrite)into table student; 2、从Hdfs导入： load data inpath ‘/user/hive/warehouse/1.txt’ (overwrite)into

0.0000

0

3

0

关注作者

收藏

詹惠儿

NumPy的线性代数模块主要作用

NumPy的线性代数模块提供了在任何numpy阵列上应用线性代数的各种方法。人们可以找到：数组的秩，行列式，跟踪等。矩阵的本征值矩阵和矢量积（点，内，外等产品），矩阵求幂求解线性或张量方程等等# Importing numpy as npimport numpy as np A = np.array([[6, 1, 1], [4, -2, 5], [2, 8, 7]])

0.0000

0

5

0

关注作者

收藏

詹惠儿

python的外循环是什么

外循环：在nditer类的构造函数有一个flags参数，可以采取以下值参数描述external_loop导致给定的值是具有多个值而不是零维数组的一维数组c_index可以跟踪C_order索引F_索引追踪Fortran_order索引多指标可以跟踪每次迭代一次的索引类型代码＃：# Python program for# iterating array values# using

19.6521

1

0

0

关注作者

收藏

詹惠儿

python如何修改数组值

修改数组值：nditer对象具有另一个名为op_flags的可选参数。其默认值为只读，但可以设置为读写或只写模式。这将允许使用此迭代器修改数组元素。# Python program for# modifying array values import numpy as geek # creating an array using arrange # methoda = geek

0.0000

0

0

0

关注作者

收藏

詹惠儿

python如何控制迭代顺序

控制迭代顺序：有时以特定顺序访问数组元素很重要，无论内存中元素的布局如何。nditer对象提供了一个order参数来控制迭代的这个方面。具有上述行为的默认值是order ='K'以保持现有订单。对于C顺序，可以使用order ='C'覆盖它，对于Fortran顺序，可以使用order ='F'覆盖它。代码＃：# Python program for# iterating over ar

0.0000

0

1

0

关注作者

收藏

詹惠儿

python的数组迭代过程

NumPy包中包含一个迭代器对象numpy.nditer。它是一个有效的多维迭代器对象，使用它可以迭代数组。使用Python的标准Iterator接口访问数组的每个元素。# Python program for# iterating over array import numpy as geek # creating an array using arrange # method

19.6521

1

4

0

关注作者

收藏

W11YA

Python中的数值类型

Python中有哪些数值类型呢1、布尔值2、数值3、字符串4、集合5、元祖6、字典7、列表

33.9199

1

2

0

关注作者

收藏

W11YA

excel中的数据类型

excel中有哪些数据类型呢1、文本类型2、数值类型3、逻辑值4、错误值

77.3419

1

0

0

关注作者

收藏

zxq997

hive连接MySQL时有ssl警告

在hive连接MySQL时有ssl警告，警告内容如下：WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45 , 5.6.26 and 5.7.6 requirements SSL connection must

60.9670

3

1

0

关注作者

收藏

zxq997

hive怎么用子查询作自连接呢？

SELECT tb2.name FROM( SELECT tb1.season, tb1.name, ROW_NUMBER() OVER( ORDER BY SUBSTR(tb1.season, 2, 4)

0.3660

1

4

0

关注作者

收藏

zxq997

hive中的OVER从句

hive中的OVER从句1、使用标准的聚合函数COUNT、SUM、MIN、MAX、AVG 2、使用PARTITION BY语句，使用一个或者多个原始数据类型的列 3、使用PARTITION BY与ORDER BY语句，使用一个或者多个数据类型的分区或者排序列 4、使用窗口规范，窗口规范支持以下格式：(ROWS | RANGE) BETWEEN (UNBOUNDED | [num])

0.3660

1

3

0

关注作者

收藏

zxq997

hive 命令行无法进入错误

启动Hadoop集群之后无法启动hive命令行，报错信息如下：a这是什么问题？答：hdfs刚启动的时候会进行大量的初始化操作，这个时候hdfs处于安全模式，是不允许对其进行写操作的，因此会报错。安全模式默认会在30秒后解除，等待30秒再启动hive即可。

0.0000

0

0

0

关注作者

收藏

zxq997

hive启动时报错 jline.Terminal错误

Hive启动报错： Found class jline.Terminal, but interface was expected答：原因是hadoop目录下存在老版本jline:-rw-r--r-- 1 root root 87325 Mar 10 18:10 jline-0.9.94.jar解决：cp hive安装目录/lib/jline-2.12.jar hadoop安装目录

0.3660

1

2

0

关注作者

收藏

dreamhappy2012

用于逻辑回归的伪R^2

问、用于逻辑回归的伪R^2答：之前讲过一个效应的计算式 : (范围0-1)下面我们来看块0的分类表,表中的百分比表示不含自变量的百分比,也就是说通过Y值计算出不违约人数占总人数的百分比 :称之为随机猜测的起点min 这个是块1的分类表加入了自变量之后的结果,这个表中的百分比即为Xi,通过计算得出继续来看块1的数据,从中

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

相关系数r和决定系数R^2的区别

问、相关系数r和决定系数R^2的区别答：相关系数 :r用于线性回归模型中的预分析,模型的整体评价指标上图是绩效总分与适应总分之间的相关性图表,第一:我们先看相关性表的显著性指标也叫p值或者sig值,若p值大于0.05,则该相关性没有统计意义,若小于0.05,则表明两者具有相关性,且|r|值越大相关性越强决定系数 : 用于线性回归模型中的建模,模型的细节指标. 该模型

0.0000

0

0

0

关注作者

收藏

PGC123

hive表关联查询，如何解决数据倾斜的问题?

倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。1)、key分布不均匀;2)、业务数据本身的特性;3)、建表时考虑不周;4)、某些SQL语句本身就有数据倾斜;如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。解决方案1>.参数调节：hive.map

0.0000

0

5

0

关注作者

收藏

dreamhappy2012

怎么借助dict函数生成一个字典对象？

问、怎么借助dict函数生成一个字典对象？答： In [15]: dict(A=1,B=2,C=3)Out[15]: {'A': 1, 'B': 2, 'C': 3}In [16]: dict([("A",1),("B",2),("C",3)])Out[16]: {'A': 1, 'B': 2, 'C': 3}

0.0000

0

1

0

关注作者

收藏

<1…251252253…404>

CDA考试动态

CDA报考指南