Spark-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

gracejpw1117

Spark使用parquet文件存储格式的好处

1) 如果说HDFS 是大数据时代分布式文件系统首选标准，那么parquet则是整个大数据时代文件存储格式实时首选标准；2) 速度更快：从使用spark sql操作普通文件CSV和parquet文件速度对比上看，绝大多数情况会比使用csv等普通文件速度提升10倍左右，在一些普通文件系统无法在spark上成功运行的情况下，使用parquet很多时候可以成功运行；3) parquet的压缩技术非常稳定

34.8716

3

3

0

关注作者

收藏

PGC123

spark的有几种部署模式，每种模式特点？

spark的有几种部署模式，每种模式特点？答：1、本地模式Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地，一般都是为了方便调试，本地模式分三类· local：只启动一个executor· local[k]:启动k个executor· local：启动跟cpu数目相同的 executor 2、st

0.0000

0

3

0

关注作者

收藏

PGC123

Mapreduce和Spark有什么区别与联系？

Mapreduce和Spark有什么区别与联系？答：两者都是用mr模型来进行并行计算:1)hadoop的一个作业称为job，job里面分为map task和reduce task，每个task都是在自己的进程中运行的，当task结束时，进程也会结束。 2)spark用户提交的任务成为application，一个application对应一个sparkcontext，app中存在多个

0.0000

0

2

0

关注作者

收藏

PGC123

Spark技术栈有哪些组件，每个组件都有什么功能，适合什么？

Spark技术栈有哪些组件，每个组件都有什么功能，适合什么应用场景？答：1）Spark core：是其它组件的基础，spark的内核，主要包含：有向循环图、RDD、Lingage、Cache、broadcast等，并封装了底层通讯框架，是Spark的基础。 2）SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kafka、Flume

66.6780

2

0

0

关注作者

收藏

PGC123

CoarseGrainedExecutorBackend是啥

CoarseGrainedExecutorBackend是啥？答：CoarseGrainedExecutorBackend，粗粒度的ExecutorBackend进程。Worker为什么要启动另外一个进程？Worker本身是管理当前机器上的资源，变动资源的时候向Master汇报。有很多应用程序，就需要很多Executor。这样程序之间不会一个奔溃导致所有的都奔溃。1.在Coar

0.0000

0

3

0

关注作者

收藏

PGC123

执行老师的python代码报错

执行老师的代码报错：[root@cloud00 textdig]# python risk_analyse.py Building prefix dict from the default dictionary ...Dumping model to file cache /tmp/jieba.cacheLoading model cost 0.808 seconds.Prefix di

0.0000

0

3

0

关注作者

收藏

PGC123

cache和pesist有什么区别？

cache和pesist有什么区别？答：（1）cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省程序运行时间；（2）cache只有一个默认的缓存级别MEMORY_ONLY ，cache调用了persist，而persist可以根据情况设置其它的缓存级别；（3）executor执行的时候，默认60%做cache，40%做t

0.0000

0

0

0

关注作者

收藏

PGC123

spark中的数据倾斜的现象、原因、后果分别是什么？

spark中的数据倾斜的现象、原因、后果分别是什么？答：1、数据倾斜的现象多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行失败。 2、数据倾斜的原因数据问题 1）、key本身分布不均衡（包括大量的key为空） 2）、key的设置不合理 spark使用问题 1）、shuffle时的并发度不够 2）、计算方

0.0000

0

3

0

关注作者

收藏

PGC123

Spark有哪些优化方法？

Spark有哪些优化方法答：spark调优比较复杂，但是大体可以分为三个方面来进行 1）平台层面的调优：防止不必要的jar包分发，提高数据的本地性，选择高效的存储格式如parquet 2）应用程序层面的调优：过滤操作符的优化降低过多小任务，降低单条记录的资源开销，处理数据倾斜，复用RDD进行缓存，作业并行化执行等等 3）JVM层面的调优：设置合适的资源量，设置合理的JVM，启用高效的序

0.0000

0

2

0

关注作者

收藏

PGC123

spark中如何划分stage?

spark中如何划分stage?答：1.Spark Application中可以因为不同的Action触发众多的job，一个Application中可以有很多的job，每个job是由一个或者多个Stage构成的，后面的Stage依赖于前面的Stage，也就是说只有前面依赖的Stage计算完毕后，后面的Stage才会运行。 2.Stage划分的依据就是宽依赖，何时产生宽依赖，例如redu

66.6667

1

2

0

关注作者

收藏

PGC123

spark有哪些组件？

spark有哪些组件？答：1、ClusterManager:在Standalone模式中即为Master节点（主节点），控制整个集群，监控Worker.在YARN中为ResourceManager 2、Worker:从节点，负责控制计算节点，启动Executor或Driver。在YARN模式中为NodeManager,负责计算节点的控制。 3、Driver:运行Applicatio

0.0000

0

0

0

关注作者

收藏

PGC123

Spark中Work的主要工作是什么？

Spark中Work的主要工作是什么？答：主要功能：管理当前节点内存，CPU的使用状况，接收master分配过来的资源指令，通过ExecutorRunner启动程序分配任务，worker就类似于包工头，管理分配新进程，做计算的服务，相当于process服务。需要注意的是： 1）worker会不会汇报当前信息给master，worker心跳给master主要只有workid，它不会发送资

0.0000

0

2

0

关注作者

收藏

PGC123

Spark driver的功能是什么？

Spark driver的功能是什么？答：1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点； 2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度，，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。

0.0000

0

5

0

关注作者

收藏

PGC123

Spark master使用zookeeper进行HA

Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外继续提供服务，

0.0000

0

0

0

关注作者

收藏

PGC123

spark-submit的时候如何引入外部jar包？

spark-submit的时候如何引入外部jar包？答：–driver-class-path 外部jar包–jars 外部jar包方法一：spark-submit –jars根据spark官网，在提交任务的时候指定–jars，用逗号分开。这样做的缺点是每次都要指定jar包，如果jar包少的话可以这么做，但是如果多的话会很麻烦。命令：spark-submit --master

0.0000

0

2

0

关注作者

收藏

PGC123

什么是的粗粒度分配，什么是细粒度分配？

Spark on Mesos中，什么是的粗粒度分配，什么是细粒度分配，各自的优点和缺点是什么？答：1）粗粒度：启动时就分配好资源，程序启动，后续具体使用就使用分配好的资源，不需要再分配资源；优点：作业特别多时，资源复用率高，适合粗粒度；缺点：容易资源浪费，假如一个job有1000个task，完成了999个，还有一个没完成，那么使用粗粒度，999个资源就会闲置在那里，资源浪费。

0.0000

0

2

0

关注作者

收藏

PGC123

spark-submit提交报错问题

spark 提交作业报错：答：RDD对象是没有toDF的原因是没有使用sparkSession或者SQLContext初始化的原因

0.0000

0

4

0

关注作者

收藏

PGC123

使用rownumber的时候报错

使用rowNumber的时候报错，说没有这个属性是啥原因？答：spark 从1.6 版本开始使用row_number代替，因此需要使用正确的函数调用方法。

0.0000

0

4

0

关注作者

收藏

PGC123

collect()方法的用法

spark 中的collect()方法的用法是什么？答：collect()方法可以将RDD或者DataFrame的数据以数组的形式全部返回，返回到驱动程序的位置。

0.0000

0

2

0

关注作者

收藏

PGC123

spark DtaFrame降序排序某一列的方式

spark DtaFrame降序排序某一列的方式有哪些？答：Spark默认的排序方式为升序，而降序的用法和python语言等又不一样。常见的方法有以下几种：方法一取反符号法 df.orderBy(-df["col2"]).show()方法二：对象方法desc df.orderBy(df["col2"].desc()).show()

0.0000

0

0

0

关注作者

收藏

123…5>

CDA考试动态

CDA报考指南