从今天开始不熬夜
2022-08-05 阅读量: 20
在PC上安装VMware Workstation虚拟机软件时,最好将软件安装在一个没有中文、没有空格的目录下.
EXPLODE(col)：将 hive 一列中复杂的 array 或者 map 结构拆分成多行。 LATERAL VIEW:用法：LATERAL VIEW udtf(expression) tableAlias AS columnAlias.用于和 split, explode 等 UDTF 一起使用，它能够将一列数据拆成多行数据，在此 基础上可以对拆分后的数据进行聚合。
CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字 符串;CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。第一个参数剩余参 数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将 为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和
1.Order By：全局排序，只有一个 Reducer；当SQL一旦使用order by 进行排序，hive翻译后的 MR只能是一个reduce,不能出现多个reduce，即使将 reduce数量设置为多个.为了防止效率比较低，建议在 执行order by 时候，一定要带上limit操作。2.Sort By：对于大规模的数据集 order by 的效率非常低。在很多情况下，并不需要全局排 序，此
分区提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理 的分区。对于一张表或者分区，Hive 可以进一步组织成桶，也就是更为细粒度的数据范围 划分,分桶是将数据集分解成更容易管理的若干部分的另一个技术,分区针对的是数据的存储路径；分桶针对的是数据文件。
