2020-02-28
阅读量:
698
Spark程序执行时为什么会产生很多task
每一个文件对应一个block，当小文件很多时，block也会很多，有多少个block就会有多少个task启动
spark中有partition的概念，每个partition都会对应一个task，task越多，在处理大规模数据的时候，就会越有效率
0.0000
0
3
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2025-02-11
0条评论
luoshaoj
2024-03-21
1条评论
液冷服务器
2023-10-26
0条评论