大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

大魔王泛泛

什么是shuffle，以及为什么需要shuffle？

shuffle中文翻译为洗牌，需要shuffle的原因是：某种具有共同特征的数据汇聚到一个计算节点上进行计算

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

executor之间如何共享数据？

基于hdfs或者基于tachyon

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

Spark中数据本地性是在哪个环节确定的

DAG划分stage的时候确定的

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

HBase如何实现海量数据的存储？

1. 使用put()一条一条的导入，效率低 2. 使用mapreduce的方式来进行写入 3. 使用bulklode方式4. 使用sqoop工具来导入

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

程序长时间运行发生oom后如何解决？

Java堆出现内存溢出异常有两种解决方案：第一种方式：基于内存调整来改变堆区内存大小以便能够存储更多的对象第二种方式：从代码上检查是否存在某些对象的生命周期过长持有状态时间过长的情况，尝试减少程序在运行期的内存消耗

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

sparkstreaming数据写入mysql用的什么算子？

使用foreachpartition 算子，只有在actions算子的操作才会进行真正的计算

0.0000

0

5

0

关注作者

收藏

大魔王泛泛

在HBase删除一条记录时，为什么不直接删除?

因为hbase的数据通常是保存在HDFS上，而hdfs只允许新增或者追加数据文件，如果要删除的话要对整个文件进行替换，所以删除操作主要是对删除的数据打上标记.

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

简述一下在Hive中如何启用动态分区

要启用动态分区，需要设置下面的属性：hive.exec.dynamic.parition.mode=nonstrict;

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

简述一下在HIve中分区的方式有几种？

Hive分区分为两种方式：静态和动态在静态分区中，将在加载数据时指定分区列动态分区中，将数据推送到 Hive，然后 Hive 决定哪个值应进入哪个分区要启用动态分区

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

Hive 分区有什么好处？

分区最大的好处就是可以更快的执行查询在分区的帮助下，将使用分区列的名称创建一个子目录，并且当使用 WHERE 子句执行查询时，将只扫描特定的子目录，而不是扫描整个表，这时可以更快地执行查询

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

Hive种内部表和外部表分别适用什么场景

Managed Table：适用于临时创建的中间表External Table：适用于数据多部门共享

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

Flume 如何保证数据的可靠性？

FFlume 使用事务的办法来保证 event 的可靠传递。Source 和 Sink 分别被封装在事务中，这些事务由保存 event 的存储提供或者由 Channel 提供。这就保证了 event 在数据流的点对点传输中是可靠的。

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

order by 和 sort by 的区别

order by会引发全局排序，使用distribute和sort进行分组排序进行优化

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

Hive中如何创建 bucket 表？

默认情况下，在 Hive 中禁用分桶功能，可以通过设置下面的属性强制启用分桶功能：hive.enforce.bucketing=true;

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

HBase的检索有哪几种方式？

1. 通过单个RowKey访问，按照某个RowKey键值进行get操作，这样可以获取唯一一条记录2. 通过RowKey的range进行scan，这样可以按照指定的条件获取一批记录3. 全表扫描，直接扫描表中所有记录

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

Flume和kafka采集日志区别

Flume采集日志是通过流的方式直接将日志收集到存储层Kafka是先将日志缓存到kafka集群，后面再存储到存储层

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

kafka的message包括哪些信息

一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

进程和线程的区别？

（1）调度：线程作为调度和分配的基本单位，进程作为拥有资源的基本单位。（2）并发性：不仅进程之间可以并发执行，同一个进程的多个线程之间也可并发执行。（3）拥有资源：进程是拥有资源的一个独立单位，线程不拥有系统资源，但可以访问隶属于进程的资源。（4）系统开销：在创建或撤消进程时，由于系统都要为之分配和回收资源，导致系统的开销明显大于创建或撤消线程时的开销

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

为什么要为数据仓库建立数据建模

数据模型是数据关系的一种映射，就是将业务之间的关系，用模型图形化的描绘出来，而不再是脑海的一个模糊的关系通过模型的建设，我们可以很清晰的看到数据之间内在的关联关系，从而建立起全方位的数据视角，并消灭信息孤岛和数据差异化的问题，进而保证数据的一致性模型可以很好的帮助我们分离出底层技术的实现和上层业务的展现，当上层业务发生变化时，通过数据模型，底层的技术实现可以适应的了业务的变动，进而解决数

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

数据仓库为什么要分层？

数据不分层的情况下，数据之间的耦合性与业务耦合性是不可避免的，当源业务系统的业务规则发生变化时，可能影响整个数据的清洗过程数据分层简化了数据清洗的过程，每一层的逻辑变得更加简单和易于理解，当发生错误或规则变化时，只需要进行局部调整

0.0000

0

2

0

关注作者

收藏

<1…262728…75>

CDA考试动态

CDA报考指南