2019-06-21
阅读量:
1471
Shuffle临时文件过多
问题：No Space Left on the device（Shuffle临时文件过多）
由于Spark在计算的时候会将中间结果存储到/tmp目录，而目前linux又都支持tmpfs，其实就是将/tmp目录挂载到内存当中。
那么这里就存在一个问题，中间结果过多导致/tmp目录写满而出现如下错误
No Space Left on the device
解决办法
第一种：修改配置文件spark-env.sh,把临时文件引入到一个自定义的目录中去即可
export SPARK_LOCAL_DIRS=/home/utoken/datadir/spark/tmp
第二种：偷懒方式，针对tmp目录不启用tmpfs,直接修改/etc/fstab
0.0000
0
4
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
ly168168
2025-09-02
0条评论
天下无欺诈
2025-08-06
0条评论
小小杰杰
2025-04-28
0条评论
