大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

大魔王泛泛

spark history web页面打不开

报错信息如下图打开spark下的spark-env文件添加如下内容

2.1589

1

1

0

关注作者

收藏

大魔王泛泛

启动spark历史服务器失败

打开 spark下的spark-defaults.conf文件添加如下内容并保存

18.9926

2

3

0

关注作者

收藏

大魔王泛泛

localhost:9000 failed 连接失败

修改Hadoop下面的etc/core文件把里面的ip改成自己对应的IP

2.1589

1

1

0

关注作者

收藏

大魔王泛泛

java.net.ConnectException

连接异常需要修改/etc/hosts文件改成自己的ip地址

2.1589

1

2

0

关注作者

收藏

大魔王泛泛

No module named ’pyspark'

没有pyspark模块把spark中的pyspark导入到anaconda中即可

2.7976

1

2

0

关注作者

收藏

大魔王泛泛

Input path does not exist

报错原因是文件不存在需要到HDFS上查看文件是否存在

2.1589

1

4

0

关注作者

收藏

PGC123

Invalid RGBA argument: masked

这个报错是为什么啊？查了一下这个是颜色报错？代码完全按照老师执行的，但是老师的可以出图，我的却不可以。答：根据你的描述，老师的代码可以执行，但是你的却不能执行，那应该是你python包版本与老师不一致造成的。可以尝试更新一下这个包。查看包的版本可以使用如下代码：对比了一下我的matplotlib版本是3.1.3，你的是3.1.0。更新包可以使用如下命令，

9.8923

3

3

0

关注作者

收藏

大魔王泛泛

监测Yarn的 web页面为何打不开

检查yarn服务是否开启配置信息是否正确 ip地址是否已改变最后重启yarn服务

2.3091

1

5

0

关注作者

收藏

PGC123

([A-Za-z] )\. 这个正则表达式是什么意思？

25.4390

3

1

0

关注作者

收藏

大魔王泛泛

Spark中 start-all和standalone的区别

start-all是启动集群的脚本 standalong是spark自带的集群管理器

3.0259

1

7

0

关注作者

收藏

大魔王泛泛

Spark各个端口号代表的含义

Master的web端口是8080,work的web端口是8081 Master通信端口是7077，spark历史服务器端口：18080Spark当前执行的任务页面查看端口4040，如果任务结束了4040端口页面不能访问

2.3091

1

1

0

关注作者

收藏

PGC123

读取一txt文件时，表格不对齐，如何处理？

读取一txt文件时，表格不对齐，如何处理？原始数据是这个样子的：代码是这样写的：name = pd.read_table('4-1.txt', sep = '\t', encoding ='utf-8', na_values="n/a")答：这个数据没对齐的原因是pandas把第一列当作索引了。其实可以在读取数据的时候传递index_col参数设置相关信息。通过这个参数可

25.4390

3

6

0

关注作者

收藏

PGC123

使用 fancyimpute时报错

使用 fancyimpute时报错答：这个是python 包 pytest版本低的原因造成的，升级一下即可。pip install -i https://pypi.douban.com/simple pytest --user

25.9275

3

3

0

关注作者

收藏

PGC123

报找不到DLL错误，TensorFlow runtime问题

运行代码报找不到DLL错误，TensorFlow runtime问题答：tensorFlow的底层是C ，在安装过程需要C 的编译环境（windows上是VC，unix系统上是UC）还需要对应的运行时。大家可以在自己的控制面板->卸载或更改程序里面查看。主要是红框的C 运行时。如果没有就需要安装咯下载地址：https://www.microsoft.com/zh-C

25.9275

3

4

0

关注作者

收藏

PGC123

安装过程中提示scipy版本错误。

安装过程中提示scipy版本错误，显示安装成功，但是有错误。答：错误原因是由于scipy 版本过低导致的，但是pip又没权限卸载原来的旧版本，因此自动升级scipy 失败。安装anaconda的时候最好选择为所有人安装（不要选则仅自己）这时候只需手动安装一下即可。pip install -i https://pypi.douban.com/simple 如果提示没有权限的错误可

25.6766

3

4

0

关注作者

收藏

PGC123

fancyimpute 安装问题

安装 fancyimpute报错答：核心错误信息没有显示出来，不过根据经验判断是下载出了问题。pip 安装的时候强烈建议使用国内镜像服务器。pip install -i https://pypi.douban.com/simple fancyimpute

25.6766

3

2

0

关注作者

收藏

大魔王泛泛

为什么在CentOS系统中安装某些软件包要用root用户

这是因为有些命令普通用户没有相应的权限而root用户有最高权限

12.4820

2

1

0

关注作者

收藏

大魔王泛泛

启动Hbase之前是不是要先启动Hadoop和zk

是的因为Hbase依赖于DataNode和zk管理

12.4820

2

2

0

关注作者

收藏

大魔王泛泛

解释下thrit server有什么作用？

thrit server可以让python程序连接 hbase 达到远程访问的目的

12.4820

2

3

0

关注作者

收藏

大魔王泛泛

Hive表是如何与Hbase表相关联的

关联前，先创建hbase表，而后创hive关联hbase表。这是因为，创hive关联hbase表时候，会检查关联的hbase表是否存在，也会检查hive字段与hbase的列值对应关系是否能成立关联表时需注意’hbase.columns.mapping’这个值，此值与hive的字段自上而下一一对应一般来说，hive的第一行为主键，对应到hbase为”key”

18.1239

1

3

0

关注作者

收藏

<1…192021…75>

CDA考试动态

CDA报考指南