PGC123

2019-01-20   阅读量: 794

大数据 Spark

spark中driver的作用?

扫码加入数据分析学习群

spark中driver的作用是什么?

答:driver:

I.串联各个算子操作:DAG:有向无环图

II.拆分各个stage阶段

III.部分功能相当于yarn中的applicationmaster

dagscheduler:是driver中的一个组件,执行II操作:拆分各个stage阶段

taskscheduler:是driver中的一个组件,执行III操作:部分功能相当于applicationmaster

添加CDA认证专家【维克多阿涛】,微信号:【cdashijiazhuang】,提供数据分析指导及CDA考试秘籍。已助千人通过CDA数字化人才认证。欢迎交流,共同成长!
0.0000 0 0 关注作者 收藏

评论(0)


暂无数据

推荐课程

推荐帖子