热线电话:13121318867

登录
2019-06-20 阅读量: 850
长时间等待无反应,并且看到服务器上面的web界面有内存和核心

长时间等待无反应,并且看到服务器上面的web界面有内存和核心数,但是没有分配,如下图

或者日志信息显示:

16/01/15 14:18:56 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

解决方案

出现上面的问题主要原因是因为我们通过参数spark.executor.memory设置的内存过大,已经超过了实际机器拥有的内存,故无法执行,需要等待机器拥有足够的内存后,才能执行任务,可以减少任务执行内存,设置小一些即可

43.9833
2
关注作者
收藏
评论(0)

发表评论

暂无数据
推荐帖子