spark中的数据倾斜的现象、原因、后果分别是什么？

PGC123

2019-07-01 阅读量: 1286

答：

1、数据倾斜的现象

多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行失败。

2、数据倾斜的原因

数据问题

1）、key本身分布不均衡（包括大量的key为空）

2）、key的设置不合理

spark使用问题

1）、shuffle时的并发度不够

2）、计算方式有误

3、数据倾斜的后果

1）、spark中的stage的执行时间受限于最后那个执行完成的task,因此运行缓慢的任务会拖垮整个程序的运行速度（分布式程序运行的速度是由最慢的那个task决定的）。

2）、过多的数据在同一个task中运行，将会把executor撑爆。

0.0000

关注作者

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子