Hive-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

hive的特点是什么？hive和RDBMS有什么异同？

hive的特点是什么？hive和RDBMS有什么异同？答：hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

33.9132

1

1

0

关注作者

收藏

PGC123

hive表关联查询，如何解决数据倾斜的问题?

倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。1)、key分布不均匀;2)、业务数据本身的特性;3)、建表时考虑不周;4)、某些SQL语句本身就有数据倾斜;如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。解决方案1>.参数调节：hive.map

0.0000

0

5

0

关注作者

收藏

PGC123

没这个 /user/hive/warehouse

问题:mkdir: `/user/hive/warehouse': No such file or directory 原因: 使用hadoop新建目录的时候报错，命名格式有问题解决办法: 输入正确的命令格式例如: $HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse

23.7978

1

0

0

关注作者

收藏

PGC123

hive 创建表代码报错

使用hive创建表create table youtube1(videoId string,uploader string,age int,category array,length int,views int,rate float,ratings int,comments int,relatedId array) row format delimited fields t

0.0000

0

1

0

关注作者

收藏

PGC123

如何启动hive 的远程访问服务？

如何启动hive 的远程访问服务？答：启动hiveserver2的方式：hive --service hiveserver2后台方式启动 nohup hive --server hiveserver2

0.0000

0

5

0

关注作者

收藏

PGC123

sparkSQL的HiveContext访问hive权限问题

sparkSQL的HiveContext访问hive权限问题：The root scratch dir: /tmp/hive on HDFS should be writable Current permissions are : rwx------spark 用的是Windows local 模式答：这是由于用户对'\tmp\hive'文件夹访问权限受限所致。查看权限可以使用%H

600.0000

1

1

0

关注作者

收藏

PGC123

hive 存储元数据可以使用哪个非关系型数据库？

hive 存储元数据可以使用哪些数据库答：hive默认使用自带的数据库derby来存储元数据。也可以使用MySQL等关系型数据库来存储。

85.7143

1

3

0

关注作者

收藏

PGC123

Hive与关系型数据库有什么关系？

Hive与关系型数据库有什么关系？Hive是不是关系型数据库？答：首先hive和常见的数据库最大的不同点是hive本身并不存储数据，而是直接使用hdfs上面的数据。这句话怎么理解呢？像MySQL Oracle这些数据库的数据是通过自己的方式编码存储的，不通过这些数据库管理系统我们是无法查看数据内容的。但是hive就不一样了，它的数据就存储在hdfs上面，我们完全可以自行下载查看或者处理。

0.0000

0

0

0

关注作者

收藏

PGC123

Hive与HDFS之间有什么样的关系？

Hive与HDFS之间有什么样的关系？这块我还是不太理解答：Hive是逻辑上的数据仓库，Hive本身并不存储数据，数据都是存放到HDFS上面的。Hive之所以能以表的形式操作HDFS上面的数据是因为hive的元数据库存储着HDFS数据与Hive表之间的映射。

0.0000

0

2

0

关注作者

收藏

PGC123

MySQL链接警告

在hive连接MySQL时有ssl警告，警告内容如下：WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45 , 5.6.26 and 5.7.6 requirements SSL connection must

0.0000

0

2

0

关注作者

收藏

PGC123

hive 如何查看表信息？

hive 如何查看表信息？答：hive常用的查看表信息命令有：查看数据库中有哪些表： show tables; show tables in database_name;查看表结构： desc table_name;

0.0000

0

2

0

关注作者

收藏

PGC123

hive启动时报错 jline.Terminal错误

Hive启动报错： Found class jline.Terminal, but interface was expected答：原因是hadoop目录下存在老版本jline:-rw-r--r-- 1 root root 87325 Mar 10 18:10 jline-0.9.94.jar解决：cp hive安装目录/lib/jline-2.12.jar hadoop安装目录

0.0000

0

0

0

关注作者

收藏

PGC123

初始化hive的时候提示没有spark相关的包

初始化hive的时候报错：ls: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or directory这是什么原因？答：原因是spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembl

0.0000

0

2

0

关注作者

收藏

PGC123

无法使用hive账号远程访问 MySQL问题

无法使用hive账号远程访问 MySQL问题。在配置hive的时候无法连接到m原数据库MySQL，这个怎么解决？答：如果仅仅是使用hive账号无法无法登录MySQL 那应该是该账户不允许远程登录。可以使用如下代码进行配置。首先使用管理员账号登录MySQL命令行。然后在命令行中输入：use mysql; update user set host='%' where host = '

0.0000

0

3

0

关注作者

收藏

PGC123

MySQL 不能被外部访问该怎么办？

MySQL 不能被外部访问该怎么办？我想远程连接MySQL 服务，但是提示连接失败。答：MySQL 服务默认绑定监听 localhost 对应的网卡，对其他网卡不监听。但是我们远程登录MySQL服务的时候使用的都是其他网卡，因此需要让MySQL server 绑定他们。设置方法：找到 /etc/my.cnf 文件，修改 bind-address=0.0.0.0 即可。

106.7348

1

1

0

关注作者

收藏

PGC123

MySQL无法登录

在安装好MySQL后没有设置密码，该如何设置密码呢？答：可以使用mysqladmin命令来修改mysql的密码。mysqladmin -uroot -p password 1 #该命令将root用户密码设置为1

0.0000

0

4

0

关注作者

收藏

PGC123

hive 命令行无法进入错误

启动Hadoop集群之后无法启动hive命令行，报错信息如下：这是什么问题？答：hdfs刚启动的时候会进行大量的初始化操作，这个时候hdfs处于安全模式，是不允许对其进行写操作的，因此会报错。安全模式默认会在30秒后解除，等待30秒再启动hive即可。

0.0000

0

3

0

关注作者

收藏

PGC123

(state=42000,code=1061)错误

再初始化hive的时候出现如下错误: ValueError Traceback (most recent call last) in ()----> 1 df[d3]~\Anaconda3\lib\site-packages\pandas\cor

106.7348

1

3

0

关注作者

收藏

PGC123

hive中的OVER从句

hive中的OVER从句1、使用标准的聚合函数COUNT、SUM、MIN、MAX、AVG 2、使用PARTITION BY语句，使用一个或者多个原始数据类型的列 3、使用PARTITION BY与ORDER BY语句，使用一个或者多个数据类型的分区或者排序列 4、使用窗口规范，窗口规范支持以下格式：(ROWS | RANGE) BETWEEN (UNBOUNDED | [num])

20.4049

4

2

0

关注作者

收藏

PGC123

hive 的窗口函数有哪些?

hive 的窗口函数有哪些?答：窗口函数FIRST_VALUE：取分组内排序后，截止到当前行，第一个值 LAST_VALUE：取分组内排序后，截止到当前行，最后一个值 LEAD(col,n,DEFAULT) ：用于统计窗口内往下第n行值。第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，

13.4272

3

3

0

关注作者

收藏

上一页123…4>

CDA考试动态

CDA报考指南