大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

hive分区和分桶的区别

hive分区和分桶的区别答：1、分区1）是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹，比如我们要收集某个大型网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表的内容巨大，在查询时进行全表扫描耗费的资源非常多。2）那其实这个情况下，我们可以按照日期对数据表进行分区，不同日期的数据存放在不同的分区，在查询时只要指定分区字

33.9199

1

2

0

关注作者

收藏

PGC123

hive 内部表和外部表区别

hive 内部表和外部表区别答： 1、创建表时：创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。 2、删除表时：在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。

0.0000

0

2

0

关注作者

收藏

PGC123

Hive导出数据有几种方式？如何导出数据

Hive导出数据有几种方式？如何导出数据答： 1、用insert overwrite导出方式 1）、导出到本地： insert overwrite local directory ‘/home/robot/1/2’ rom format delimited fields terminated by ‘\t’ select * from staff;(递归创建目录)

33.9199

1

1

0

关注作者

收藏

PGC123

Hive中追加导入数据的4种方式是什么？请写出简要语法

Hive中追加导入数据的4种方式是什么？请写出简要语法答： 1、从本地导入： load data local inpath ‘/home/1.txt’ (overwrite)into table student; 2、从Hdfs导入： load data inpath ‘/user/hive/warehouse/1.txt’ (overwrite)into

0.0000

0

3

0

关注作者

收藏

PGC123

数据分布在100台电脑中，如何高效统计出这批数据的top10

海量数据分布在100台电脑中，想个办法高效统计出这批数据的TOP10答：方案1: 在每台电脑上求出TOP10，可以采用包含10个元素的堆完成(TOP10小，用最大堆，TOP10大，用最小堆)。比如求TOP10大，我们首先取前10个元素调整成最小堆，如果发现，然后扫描后面的数据，并与堆顶元素比较，如果比堆顶元素大，那么用该元素替换堆顶，然后再调整为最小堆。最后堆中的

66.5673

1

1

0

关注作者

收藏

PGC123

hive分区代码如何写？

写出将 text.txt 文件放入 hive 中 test 表‘2018-10-10’ 分区的语句，test 的分区字段是 l_date。答： LOAD DATA LOCAL INPATH '/your/path/test.txt' OVERWRITE INTO TABLE test PARTITION (l_date='2018-10-10')

43.5548

1

2

0

关注作者

收藏

PGC123

hive字符串面试题

写出hive中split、coalesce及collect_list函数的用法（可举例）。答： Split将字符串转化为数组。split('a,b,c,d' , ',') ==> ["a","b","c","d"]COALESCE(T v1, T v2, …) 返回参数中的第一个非空值；如果所有值都为 NULL，那么返回NULL。collect_list列出该字段所有的值，不去重

33.9132

1

2

0

关注作者

收藏

PGC123

关于null的问题

简要描述数据库中的 null，说出null在hive底层如何存储，并解释selecta.* from t1 a left outer join t2 b on a.id=b.id where b.id is null; 语句的含义答： null与任何值运算的结果都是null, 可以使用is null、is not null函数指定在其值为null情况下的取值。null在hive底层默认是

0.0000

0

4

0

关注作者

收藏

PGC123

请说明hive中排序有哪些？区别是啥？

请说明hive中排序有哪些？区别是啥？答：hive中的排序有Sort By，Order By，Cluster By，Distrbute By order by：会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）。只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。sort by：不是全局排序，其在数据进入reducer前完成排序。d

0.0000

0

1

0

关注作者

收藏

PGC123

Multi-group by 是hive的一个非常好的特性

Multi-group by 是hive的一个非常好的特性，请举例说明？答：from Ainsert overwrite table B select A.a, count(distinct A.b) group by A.ainsert overwrite table C select A.c, count(distinct A.b) group by A.c

0.0000

0

1

0

关注作者

收藏

PGC123

请把下一语句用hive方式实现？

请把下一语句用hive方式实现？答： SELECT a.key,a.value FROM a WHERE a.key not in (SELECT b.key FROM b)答案：select a.key,a.value from a where a.key not exists (select b.key from b)

43.5548

1

3

0

关注作者

收藏

PGC123

hive的特点是什么？hive和RDBMS有什么异同？

hive的特点是什么？hive和RDBMS有什么异同？答：hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

33.9132

1

1

0

关注作者

收藏

PGC123

hive表关联查询，如何解决数据倾斜的问题?

倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。1)、key分布不均匀;2)、业务数据本身的特性;3)、建表时考虑不周;4)、某些SQL语句本身就有数据倾斜;如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。解决方案1>.参数调节：hive.map

0.0000

0

5

0

关注作者

收藏

PGC123

数据库与数据仓库的区别是什么？

数据库与数据仓库的区别答： 1）简单理解下数据仓库是多个数据库以一种方式组织起来 2）数据库强调范式，尽可能减少冗余 3）数据仓库强调查询分析的速度，优化读取操作，主要目的是快速做大量数据的查询 4）数据仓库定期写入新数据，但不覆盖原有数据，而是给数据加上时间戳标签 5）数据库采用行存储，数据仓库一般采用列

43.5548

1

3

0

关注作者

收藏

PGC123

PCA主成分分析原理？

PCA主成分分析原理？答： 1）主成分分析是一种降维的方法 2）思想是将样本从原来的特征空间转化到新的特征空间，并且样本在新特征空间坐标轴上的投影方差尽可能大，这样就能涵盖样本最主要的信息 3）方法： a. 特征归一化 b. 求样本特征的协方差矩阵A c. 求A的特

0.0000

0

3

0

关注作者

收藏

PGC123

数据预处理过程有哪些？

数据预处理过程有哪些？答： 1）缺失值处理：删、插 2）异常值处理 3）特征转换：时间特征sin化表示 4）标准化：最大最小标准化、z标准化等 5）归一化：对于文本或评分特征，不同样本之间可能有整体上的差异，如a文本共20个词，b文本30000个词，b文本中各个维度上的频次都很可能远远高于a文本 6）离散化：o

0.0000

0

3

0

关注作者

收藏

PGC123

怎么做恶意刷单检测？

怎么做恶意刷单检测？答：分类问题用机器学习方法建模解决，我想到的特征有： 1）商家特征：商家历史销量、信用、产品类别、发货快递公司等 2）用户行为特征：用户信用、下单量、转化率、下单路径、浏览店铺行为、支付账号 3）环境特征（主要是避免机器刷单）：地区、ip、手机型号等 4）异常检测：ip地址经常变动、经常清空cookie信息、账号近期交易成

0.0000

0

2

0

关注作者

收藏

PGC123

时间序列分析是什么?

时间序列分析是什么?答：　　时间序列分析可以在频域和时域两个域中完成。在时间序列分析中，可以通过指数平滑，对数线性回归等各种方法分析数据，来预测特定过程输出。

19.6480

1

2

0

关注作者

收藏

PGC123

解释协同过滤是什么?

解释协同过滤是什么?答：　　协同过滤是一种基于用户行为数据创建推荐系统的简单算法。协同过滤最重要的组件是用户对项目的兴趣。　　协同过滤一个很好的例子就是购物网站上出现的类似“为您推荐”的模块，该模块通常会获取用户的浏览记录信息，以弹出用户可能喜欢或需要的商品。

0.0000

0

1

0

关注作者

收藏

PGC123

如何避免过拟合?

如何避免过拟合?答：　　过拟合表现在训练数据上的误差非常小，而在测试数据上误差反而增大。其原因一般是模型过于复杂，过分得去拟合数据的噪声和outliers。常见的解决办法是正则化：增大数据集，正则化

0.0000

0

2

0

关注作者

收藏

<1…343536…75>

CDA考试动态

CDA报考指南