2020-02-26
阅读量:
842
怎样区分窄依赖和宽依赖？
RDD 的 Transformation 函数中,又分为窄依赖(narrow dependency)和宽依赖(wide dependency)的操作
窄依赖跟宽依赖的区别是是否发生 shuffle(洗牌) 操作，宽依赖会发生 shuffle 操作
窄依赖是子 RDD的各个分片(partition)不依赖于其他分片,能够独立计算得到结果
宽依赖指子 RDD 的各个分片会依赖于父RDD 的多个分片,所以会造成父 RDD 的各个分片在集群中重新分片
0.0000
0
0
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2025-02-11
0条评论
luoshaoj
2024-03-21
1条评论
液冷服务器
2023-10-26
0条评论