大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

大魔王泛泛

spark如何处理不能被序列化的对象？

将不能序列化的内容封装成object

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

spark中我们应该尽量避免使用什么类型的算子

应尽量避免使用reduceByKey、groupByKey、join、dictinct，repartition等会进行shuffle的算子，没有shuffle操作或者仅有较少的shuffle操作的Spark作业，可以大大减少性能开销。

0.0000

0

3

0

关注作者

收藏

大魔王泛泛

常规的容错方式有哪几种？

数据检查点(checkpoint)，会发生拷贝，浪费资源记录数据的更新，每次更新都会记录下来，复杂且消耗性能

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

数据本地性是在哪个阶段确定的？

Dag在划分stage时确定。

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

cache是不是action操作？

Cache不是action操作

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

ReduceByKey是action算子吗

ReduceByKey是transform算子，reduce是action算子

0.0000

1

5

0

关注作者

收藏

大魔王泛泛

spark中的数据倾斜的现象

数据倾斜的现象：多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行失败。

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

spark中cache和persist的区别

cache：缓存数据，默认是缓存在内存中，其本质还是调用persistpersist:缓存数据，有丰富的数据缓存策略。数据可以保存在内存也可以保存在磁盘中，使用的时候指定对应的缓存级别就可以了。

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

spark内存溢出有哪几种

driver端的内存溢出map过程产生大量对象导致内存溢出数据不平衡导致内存溢出 shuffle后内存溢出 standalone模式下资源分配不均匀导致内存溢出

0.0000

0

5

0

关注作者

收藏

大魔王泛泛

spark-submit的时候如何引入外部jar包

在通过spark-submit提交任务时，可以通过添加配置参数来指定 –driver-class-path 外部jar包–jars 外部jar包

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

spark中如何划分stage

Stage划分的依据就是宽依赖，何时产生宽依赖，例如reduceByKey,groupByKey的算子，会导致宽依赖的产生

0.0000

0

2

0

关注作者

收藏

liting李

什么是拟合？

拟合就是y和x之间的相符程度，通常分为欠拟合和过拟合。

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

Spark中的宽依赖和窄依赖

宽依赖：是指父RDD的每一个分区最多被一个子RDD的分区所用窄依赖：是指子RDD的分区依赖于父RDD的多个分区或所有分区

37.5000

1

1

0

关注作者

收藏

大魔王泛泛

RDD分为哪几个执行步骤

RDD中操作分为两个部分：转换（transformation）和行动（action）转换：将RDD转换成一个新的RDD行动：对一个RDD进行求值或者输出RDD的所有转换操作都是懒执行的，只有当执行action操作时spark才会真的去执行

37.5000

1

3

0

关注作者

收藏

大魔王泛泛

如何创建RDD？

创建RDD有三种方式：1、可以从一个Scala集合里面创建： sc.parallelize(data)：把data这个数据并行化分片到节点 sc.makeRDD(data)：把data这个数据并行化分片到节点，它的实现就是parallelize sc.makeRDD(data[(T,seq)])：这种方式可以指定RDD的存放位置2、根据外部数据源来创建，如sc

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

简述Spark中的RDD

RDD（Resilient Distributed Dataset）：弹性分布式数据集它有几种特性：1. RDD有不可变性 2. RDD是可分区的 3. RDD是弹性的：弹性表现在存储的灵活性、可容错性、分层计算、可调整数据的分布情况

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

Spark和Hadoop之间的关系

Spark诞生并不是为了替代Hadoop，而是替换Hadoop框架的某些计算框架(MR)和查询引擎（Hive）Spark的核心是一种新的大数据内存计算框架，是基于Hadoop的存储(HDFS)与资源管理器(YARN)之上的计算框架

0.0000

0

5

0

关注作者

收藏

大魔王泛泛

Spark有哪些组件

Spark CoreSpark SQLSpark StreamingMLlibGraphX

0.0000

0

4

0

关注作者

收藏

大魔王泛泛

Spark是什么？

Spark是一种大数据计算框架，是基于内存计算的框架，是一种通用的大数据快速处理引擎。

0.0000

0

0

0

关注作者

收藏

大魔王泛泛

什么是MapReduce?

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个master节点管理下的各个salve节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是”任务的分解与结果的汇总”。

0.0000

0

4

0

关注作者

收藏

<1…303132…75>

CDA考试动态

CDA报考指南