大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

使用graphviz报错

这个错是要修改PATH变量吗？答：使用graphviz 需要安装一个本地程序：graphviz 与一个叫graphviz的python模块。从报错信息来看有可能是本地程序：graphviz没有安装或者其程序路径没有添加到系统变量path中。因此需要从这两方面着手检查是否操作有落下。

26.6570

2

0

0

关注作者

收藏

大魔王泛泛

怎样启动Kafka消费者脚本？

在Kafka主目录下执行如下命令：./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

23.9617

1

2

0

关注作者

收藏

大魔王泛泛

怎样查看Spark版本是多少

执行spark-shell 即可查看spark版本号

23.9617

1

1

0

关注作者

收藏

大魔王泛泛

在CentOS7中如何解压文件

使用tar命令：tar -zxvf 要解压的文件-z 用gzip来压缩/解压缩文件-x 从档案文件中释放文件-v 显示详细信息-f 使用档案名字，切记，这个参数是最后一个参数，后面只能接档案名

23.9617

1

2

0

关注作者

收藏

大魔王泛泛

怎样区分数据是放在本地还是HDFS上

如果是本地Linux路径：file:///本地路径如：file:///data/mobile如果是HDFS上的路径：hdfs://localhost:9000/hdfs路径如：hdfs://localhost:9000/data/mobile

13.4610

1

1

0

关注作者

收藏

大魔王泛泛

运行spark-submit程序卡住不动

如图所示：程序卡住不动需要修改spark-env文件添加如下配置即可

4.4292

1

2

0

关注作者

收藏

PGC123

如何安装prml这个包？

老师prml这个包怎么才能用？也安装不了答：这个包因该是自定义的，并没有在pypi的软件仓库注册，因此通过pip无法安装。可以找到项目的地址，将项目下载后进行安装项目地址：https://github.com/ctgk/PRML 下载后根据以下步骤，在命令行执行：在下载的PRML处执行如下命令编译：python3 setup.py build然后执行下面命令安装：

37.7856

3

3

0

关注作者

收藏

大魔王泛泛

怎样把数据默认保存到HDFS上？

在spark-env 文件里添加如下字段即可：export HADOOP_CONF_DIR=/home/hduser/hadoop/etc/hadoop

1.4681

1

3

0

关注作者

收藏

大魔王泛泛

启动Spark Connection refused

错误如下图：修改 /etc/hosts 文件把localhost 对应的ip改为自己的ip地址即可

1.4681

1

1

0

关注作者

收藏

大魔王泛泛

No module named' pyspark'

重启一下jupyter 再重新运行一遍代码

1.4681

1

1

0

关注作者

收藏

大魔王泛泛

Spark SQL中 concat_ws()函数的用法

concat_ws: 用指定的字符连接字符串如：concat_ws("_", field1, field2)，输出结果将会是：“field1_field2”

1.6577

1

2

0

关注作者

收藏

大魔王泛泛

Spark SQL 中的col()函数

col()函数的作用是：将字符串转成column对象

1.6577

1

1

0

关注作者

收藏

大魔王泛泛

java. lang. Runt imeException

报错原因：因为没有开启hive元数据库执行hive --service metastore 命令即可

12.6228

2

4

0

关注作者

收藏

大魔王泛泛

什么时候需要启动hive元数据库

spark需要访问hive元数据库的时候开启

1.4597

2

2

0

关注作者

收藏

大魔王泛泛

Spark中conf下为什么要有hive配置文件

要使用hive-site.xml这个配置文件中的配置，使spark连接mysql 要不spark没法连接mysql

1.4597

2

0

0

关注作者

收藏

大魔王泛泛

Spark-stop指令什么时候需要执行？

当前spark作业已执行完成并不在需要spark环境的时候我们执行spark-stop命令

5.8272

3

1

0

关注作者

收藏

大魔王泛泛

怎样求出Spark中的work和Executor的数量

worker数：conf/slaves指定executors数: total-executor-core/executor-core

2.7976

1

1

0

关注作者

收藏

大魔王泛泛

spark中的transform和action

1.transformation是得到一个新的RDD，方式很多，比如从数据源生成一个新的RDD，从RDD生成一个新的RDD2.action是得到一个值，或者一个结果3.所有的transformation都是采用的懒策略，就是如果只是将transformation提交是不会执行计算的，计算只有在action被提交的时候才被触发

2.7976

1

4

0

关注作者

收藏

大魔王泛泛

怎样查看RDD的分区情况

使用RDD中的glom()函数即可查看RDD的分区情况

2.7976

1

3

0

关注作者

收藏

大魔王泛泛

在jupyter notebook上运行pyspark报错

查看java进程发现没有启动spark服务执行命令 start-all.sh 即可

2.1589

1

6

0

关注作者

收藏

<1…181920…75>

CDA考试动态

CDA报考指南