2020-02-28
阅读量:
686
Spark中partition和block
hdfs中的block是分布式存储的最小单元，位于存储空间，大小是固定的
Spark中的partition是RDD的最小单元，位于计算空间，大小是不固定的
RDD是由分布在各个节点上的partition组成的，partition是指的spark在计算过程中，生成的数据在计算空间内最小单元
0.0000
0
1
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2025-02-11
0条评论
luoshaoj
2024-03-21
1条评论
液冷服务器
2023-10-26
0条评论