大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

大魔王泛泛

在CentOS7中如何解压文件

使用tar命令：tar -zxvf 要解压的文件-z 用gzip来压缩/解压缩文件-x 从档案文件中释放文件-v 显示详细信息-f 使用档案名字，切记，这个参数是最后一个参数，后面只能接档案名

23.9617

1

2

0

关注作者

收藏

大魔王泛泛

怎样区分数据是放在本地还是HDFS上

如果是本地Linux路径：file:///本地路径如：file:///data/mobile如果是HDFS上的路径：hdfs://localhost:9000/hdfs路径如：hdfs://localhost:9000/data/mobile

13.4610

1

1

0

关注作者

收藏

大魔王泛泛

运行spark-submit程序卡住不动

如图所示：程序卡住不动需要修改spark-env文件添加如下配置即可

4.4292

1

2

0

关注作者

收藏

PGC123

如何安装prml这个包？

老师prml这个包怎么才能用？也安装不了答：这个包因该是自定义的，并没有在pypi的软件仓库注册，因此通过pip无法安装。可以找到项目的地址，将项目下载后进行安装项目地址：https://github.com/ctgk/PRML 下载后根据以下步骤，在命令行执行：在下载的PRML处执行如下命令编译：python3 setup.py build然后执行下面命令安装：

37.7856

3

3

0

关注作者

收藏

大魔王泛泛

怎样把数据默认保存到HDFS上？

在spark-env 文件里添加如下字段即可：export HADOOP_CONF_DIR=/home/hduser/hadoop/etc/hadoop

1.4681

1

3

0

关注作者

收藏

大魔王泛泛

启动Spark Connection refused

错误如下图：修改 /etc/hosts 文件把localhost 对应的ip改为自己的ip地址即可

1.4681

1

1

0

关注作者

收藏

大魔王泛泛

No module named' pyspark'

重启一下jupyter 再重新运行一遍代码

1.4681

1

1

0

关注作者

收藏

大魔王泛泛

Spark SQL中 concat_ws()函数的用法

concat_ws: 用指定的字符连接字符串如：concat_ws("_", field1, field2)，输出结果将会是：“field1_field2”

1.6577

1

2

0

关注作者

收藏

大魔王泛泛

Spark SQL 中的col()函数

col()函数的作用是：将字符串转成column对象

1.6577

1

1

0

关注作者

收藏

大魔王泛泛

java. lang. Runt imeException

报错原因：因为没有开启hive元数据库执行hive --service metastore 命令即可

12.6228

2

4

0

关注作者

收藏

大魔王泛泛

什么时候需要启动hive元数据库

spark需要访问hive元数据库的时候开启

1.4597

2

2

0

关注作者

收藏

大魔王泛泛

Spark中conf下为什么要有hive配置文件

要使用hive-site.xml这个配置文件中的配置，使spark连接mysql 要不spark没法连接mysql

1.4597

2

0

0

关注作者

收藏

大魔王泛泛

Spark-stop指令什么时候需要执行？

当前spark作业已执行完成并不在需要spark环境的时候我们执行spark-stop命令

5.8272

3

1

0

关注作者

收藏

大魔王泛泛

怎样求出Spark中的work和Executor的数量

worker数：conf/slaves指定executors数: total-executor-core/executor-core

2.7976

1

1

0

关注作者

收藏

大魔王泛泛

spark中的transform和action

1.transformation是得到一个新的RDD，方式很多，比如从数据源生成一个新的RDD，从RDD生成一个新的RDD2.action是得到一个值，或者一个结果3.所有的transformation都是采用的懒策略，就是如果只是将transformation提交是不会执行计算的，计算只有在action被提交的时候才被触发

2.7976

1

4

0

关注作者

收藏

大魔王泛泛

怎样查看RDD的分区情况

使用RDD中的glom()函数即可查看RDD的分区情况

2.7976

1

3

0

关注作者

收藏

大魔王泛泛

在jupyter notebook上运行pyspark报错

查看java进程发现没有启动spark服务执行命令 start-all.sh 即可

2.1589

1

6

0

关注作者

收藏

大魔王泛泛

spark history web页面打不开

报错信息如下图打开spark下的spark-env文件添加如下内容

2.1589

1

1

0

关注作者

收藏

大魔王泛泛

启动spark历史服务器失败

打开 spark下的spark-defaults.conf文件添加如下内容并保存

18.9926

2

3

0

关注作者

收藏

大魔王泛泛

localhost:9000 failed 连接失败

修改Hadoop下面的etc/core文件把里面的ip改成自己对应的IP

2.1589

1

1

0

关注作者

收藏

<1…181920…75>

CDA考试动态

CDA报考指南