2019-06-20
阅读量:
850
长时间等待无反应,并且看到服务器上面的web界面有内存和核心
长时间等待无反应,并且看到服务器上面的web界面有内存和核心数,但是没有分配,如下图

或者日志信息显示:
16/01/15 14:18:56 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
解决方案
出现上面的问题主要原因是因为我们通过参数spark.executor.memory设置的内存过大,已经超过了实际机器拥有的内存,故无法执行,需要等待机器拥有足够的内存后,才能执行任务,可以减少任务执行内存,设置小一些即可






评论(0)


暂无数据
推荐帖子
0条评论
0条评论
0条评论