2020-02-28
阅读量:
767
Spark中的HashShufle的有哪些不足？
1. shuffle产生海量的小文件在磁盘上，此时会产生大量耗时的、低效的IO操作
2. 可能导致内存不够用，由于内存需要保存海量的文件操作句柄和临时缓存信息，如果数据处理规模比较大的化，容易出现OOM
3. 可能出现数据倾斜，导致OOM
0.0000
0
2
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2025-02-11
0条评论
luoshaoj
2024-03-21
1条评论
液冷服务器
2023-10-26
0条评论