hive的特点是什么？hive和RDBMS有什么异同？答：hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。1)、key分布不均匀;2)、业务数据本身的特性;3)、建表时考虑不周;4)、某些SQL语句本身就有数据倾斜;如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。解决方案1>.参数调节：hive.map
问题:mkdir: `/user/hive/warehouse': No such file or directory 原因: 使用hadoop新建目录的时候报错，命名格式有问题 解决办法: 输入正确的命令格式 例如: $HADOOP_HOME/bin/hadoop fs -mkdir -p /user/hive/warehouse
使用hive创建表create table youtube1(videoId string,uploader string,age int,category array,length int,views int,rate float,ratings int,comments int,relatedId array) row format delimited fields t
如何启动hive 的远程访问服务？答：启动hiveserver2的方式：hive --service hiveserver2后台方式启动 nohup hive --server hiveserver2
sparkSQL的HiveContext访问hive权限问题：The root scratch dir: /tmp/hive on HDFS should be writable Current permissions are : rwx------spark 用的是Windows local 模式答：这是由于用户对'\tmp\hive'文件夹访问权限受限所致。查看权限可以使用%H
hive 存储元数据可以使用哪些数据库答：hive默认使用自带的数据库derby来存储元数据。也可以使用MySQL等关系型数据库来存储。
Hive与关系型数据库有什么关系？Hive是不是关系型数据库？答：首先hive和常见的数据库最大的不同点是hive本身并不存储数据，而是直接使用hdfs上面的数据。这句话怎么理解呢？像MySQL Oracle这些数据库的数据是通过自己的方式编码存储的，不通过这些数据库管理系统我们是无法查看数据内容的。但是hive就不一样了，它的数据就存储在hdfs上面，我们完全可以自行下载查看或者处理。
Hive与HDFS之间有什么样的关系？这块我还是不太理解答：Hive是逻辑上的数据仓库，Hive本身并不存储数据，数据都是存放到HDFS上面的。Hive之所以能以表的形式操作HDFS上面的数据是因为hive的元数据库存储着HDFS数据与Hive表之间的映射。
在hive连接MySQL时有ssl警告，警告内容如下：WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45 , 5.6.26 and 5.7.6 requirements SSL connection must
hive 如何查看表信息？答：hive常用的查看表信息命令有：查看数据库中有哪些表： show tables; show tables in database_name;查看表结构： desc table_name;
Hive启动报错： Found class jline.Terminal, but interface was expected答：原因是hadoop目录下存在老版本jline:-rw-r--r-- 1 root root 87325 Mar 10 18:10 jline-0.9.94.jar解决：cp hive安装目录/lib/jline-2.12.jar hadoop安装目录
初始化hive的时候报错：ls: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or directory这是什么原因？答：原因是spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembl
无法使用hive账号远程访问 MySQL问题。在配置hive的时候无法连接到m原数据库MySQL，这个怎么解决？答：如果仅仅是使用hive账号无法无法登录MySQL 那应该是该账户不允许远程登录。可以使用如下代码进行配置。首先使用管理员账号登录MySQL命令行。然后在命令行中输入：use mysql; update user set host='%' where host = '
MySQL 不能被外部访问该怎么办？我想远程连接MySQL 服务，但是提示连接失败。答：MySQL 服务默认绑定监听 localhost 对应的网卡，对其他网卡不监听。但是我们远程登录MySQL服务的时候使用的都是其他网卡，因此需要让MySQL server 绑定他们。 设置方法：找到 /etc/my.cnf 文件，修改 bind-address=0.0.0.0 即可。
在安装好MySQL后没有设置密码，该如何设置密码呢？答： 可以使用mysqladmin命令来修改mysql的密码。mysqladmin -uroot -p password 1 #该命令将root用户密码设置为1
启动Hadoop集群之后无法启动hive命令行，报错信息如下： 这是什么问题？答：hdfs刚启动的时候会进行大量的初始化操作，这个时候hdfs处于安全模式，是不允许对其进行写操作的，因此会报错。安全模式默认会在30秒后解除，等待30秒再启动hive即可。
再初始化hive的时候出现如下错误: ValueError Traceback (most recent call last) in ()----> 1 df[d3]~\Anaconda3\lib\site-packages\pandas\cor
hive中的OVER从句1、使用标准的聚合函数COUNT、SUM、MIN、MAX、AVG 2、使用PARTITION BY语句，使用一个或者多个原始数据类型的列 3、使用PARTITION BY与ORDER BY语句，使用一个或者多个数据类型的分区或者排序列 4、使用窗口规范，窗口规范支持以下格式：(ROWS | RANGE) BETWEEN (UNBOUNDED | [num])
hive 的窗口函数有哪些?答：窗口函数FIRST_VALUE：取分组内排序后，截止到当前行，第一个值 LAST_VALUE： 取分组内排序后，截止到当前行，最后一个值 LEAD(col,n,DEFAULT) ：用于统计窗口内往下第n行值。第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，
上一页123…4>
关注
PGC123
PGC123
换一批
