2020-02-24
阅读量:
830
spark中我们应该尽量避免使用什么类型的算子
应尽量避免使用reduceByKey、groupByKey、join、dictinct，repartition等会进行shuffle的算子，没有shuffle操作或者仅有较少的shuffle操作的Spark作业，可以大大减少性能开销。
0.0000
0
3
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2025-02-11
0条评论
luoshaoj
2024-03-21
1条评论
液冷服务器
2023-10-26
0条评论