2019-06-21
阅读量:
1082
Shuffle临时文件过多
问题：No Space Left on the device（Shuffle临时文件过多）
由于Spark在计算的时候会将中间结果存储到/tmp目录，而目前linux又都支持tmpfs，其实就是将/tmp目录挂载到内存当中。
那么这里就存在一个问题，中间结果过多导致/tmp目录写满而出现如下错误
No Space Left on the device
解决办法
第一种：修改配置文件spark-env.sh,把临时文件引入到一个自定义的目录中去即可
export SPARK_LOCAL_DIRS=/home/utoken/datadir/spark/tmp
第二种：偷懒方式，针对tmp目录不启用tmpfs,直接修改/etc/fstab
0.0000
0
4
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2025-02-11
0条评论
luoshaoj
2024-03-21
1条评论
液冷服务器
2023-10-26
0条评论