PGC123

2019-01-20   阅读量: 1051

大数据 PySpark Spark 机器学习

pyspark中调用jieba,显示没有那个包

扫码加入数据分析学习群

pyspark中调用jieba,显示没有那个包。local模式运行没问题,但是使用standalone模式运行的时候显示import jieba 错误,这是啥原因?

答:由于spark框架是一种并行运算框架,当以local模式运行时,程序只在当前节点运行,pyspark用的只有当前的python环境。但是当以集群模式运行的时候每个节点的python必须一致,因为同一段代码会在各个worker节点执行。解决办法就是在每个节点上都安装相同的python包,这个问题中就是要在每个节点上都安装jieba包。

添加CDA认证专家【维克多阿涛】,微信号:【cdashijiazhuang】,提供数据分析指导及CDA考试秘籍。已助千人通过CDA数字化人才认证。欢迎交流,共同成长!
0.0000 0 4 关注作者 收藏

评论(0)


暂无数据

推荐课程

推荐帖子