2020-02-28
阅读量:
666
简述hadoop和spark的shuffle
hadoop：map端保存分片数据，通过网络收集到reduce端
spark：spark的shuffle是在DAGSchedular划分Stage的时候产生的，TaskSchedule要分发Stage到各个worker的executor，减少shuffle可以提高性能
0.0000
0
2
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
ly168168
2025-09-02
0条评论
天下无欺诈
2025-08-06
0条评论
小小杰杰
2025-04-28
0条评论
