大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

大魔王泛泛

启动HDFS系统时DataNode节点没有启动起来

如图中错误信息所示：我们只要把dfs下的所有文件夹全部删除，然后重启HDFS系统即可成功

90.4576

4

4

0

关注作者

收藏

大魔王泛泛

HDFS中使用put命令上传到hdfs的文件也会进行分布式存储？

答：会的我们在HDFS中存储数据是以块（block）的形式存放在DataNode中的，块（block）的大小可以通过设置dfs.blocksize来实现；在Hadoop2.x的版本中，文件块的默认大小是128M，老版本中默认是64M

72.1973

2

3

0

关注作者

收藏

大魔王泛泛

HDFS中使用put命令上传到hdfs的文件也会进行分布式存储

答：会的我们在HDFS中存储数据是以块（block）的形式存放在DataNode中的，块（block）的大小可以通过设置dfs.blocksize来实现；在Hadoop2.x的版本中，文件块的默认大小是128M，老版本中默认是64M

0.5077

1

3

0

关注作者

收藏

大魔王泛泛

HDFS中副本的存放策略

HDFS 在默认配置下副本数是3个，通常的存放策略是：第一个副本放在和Client相同机架的Node里（如果Client不在集群范围，第一个Node是随机选取不太满或者不太忙的Node）第二个副本放在与第一个Node不同的机架中的Node第三个副本放在与第二个Node所在机架里不同的Node.

0.5077

1

1

0

关注作者

收藏

大魔王泛泛

Linux系统中怎样自动追踪文件新增内容

在Linux系统中使用tail命令即可实现自动追踪文件新增内容命令：tail -F 文件名如下图所示：左侧终端是用来追踪文件新增内容，右侧终端是用来编辑文件内容我们将编辑之后的文件保存，结果如下：

22.9572

2

1

0

关注作者

收藏

大魔王泛泛

怎样开启Windows系统中的虚拟化技术？

首先打开自己电脑的任务管理器看下性能那一栏下的右下角有个虚拟化看显示的是否是：已启用如果不是的话（这里以hp电脑为例）：开机时按F10键进入到BIOS系统选择“Security”-“System Security”敲击回车，选择“Virtualization Technology（VTx）”通过方向键左右键切换更改“Virtualization Technology（VTx）”选择“

24.6852

2

1

0

关注作者

收藏

大魔王泛泛

CentOS7下设置Mysql数据库字符集编码为utf8

vi /etc/my.cnf在[client]字段下添加：default-character-set = utf8在[mysqld]字段下添加：character-set-server = utf8 collation-server = utf8_general_ci保存并退出重启Mysql服务:system restart mysq

26.8058

2

1

0

关注作者

收藏

颜夕小妞

多表连接对应的三种关系

数据库中的表存在以下三种对应关系：

84.8374

5

2

0

关注作者

收藏

大魔王泛泛

ModuleNotFoundError: No module named ' pyspark

在jupyter lab里运行pyspark时错误如下图所示：解决方法：把spark/python/lib 下的 py4j和pyspark 放到 anacdonda里的site-package目录下并解压

26.6533

1

3

0

关注作者

收藏

颜夕小妞

数据结构分类以及关系型与非关系型表结构的区别，你掌握了吗？

数据结构分为两种，一种为表格型数据结构，一种为表结构型数据结构。表格：由固定列数和任意行数构成。表结构：表结构可是由字段和记录组成的。表格和表结构的关键区别：表结构是由字段组成的，且一个字段有且仅有一种数据类型；表呢有行类组成，不能类的数据类型可以不一样；定位方式不一样：表格可以通过行号和列号实现定位，但如果我们想定位表结构中的某一个位置，如何实现呢？答案就是通过字段和主键；3.表结构

24.9481

5

3

0

关注作者

收藏

大魔王泛泛

error：not found: value sc

启动spark-shell 执行 val sqlHiveContext = new HiveContext(sc)语句时报错:如图这是因为shell启动时没有初始化sparkContext，修改conf/spark-env.sh文件，添加如下内容：export SPARK_LOCAL_IP="192.168.23.131" 把 192.168.23.131 改成自己的ip即可之后重新

24.9187

2

1

0

关注作者

收藏

大魔王泛泛

CentOS7中怎样修改文件夹权限？

使用root用户执行 chown -R hduser:hduser conf再切换到hduser用户执行chmod -R 777 conf

53.1304

2

1

0

关注作者

收藏

大魔王泛泛

conda install 错误信息：An HTTP error occurred when trying to retrieve this URL

这是因为我们 conda install 时默认连接的是国外的镜像源而从国外下载速度极慢，导致报错我们为Anaconda配置一下国内的镜像源就可以解决了执行代码如下：conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_ch

77.3248

1

5

0

关注作者

收藏

大魔王泛泛

Jupyter Notebook和Pycharm的适用场景分别是什么？

Jupyter Notebook是一个交互式笔记本，支持运行 40 多种编程语言，其本质是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和markdown，用途包括:数据清理和转换，数值模拟，统计建模，机器学习等Pycharm集成开发环境（IDE）是提供给程序员和开发者的一种基本应用，用来编写和测试软件，通常能够通过 GUI（图形界面）来操作，如果你是we

81.0185

5

3

0

关注作者

收藏

大魔王泛泛

SparkContext和SparkSession有什么区别

SparkContext、SparkSession是对Spark计算集群的一个连接，当我们通过shell启动Spark时，会默认创建，如SparkContext会默认创建一个命名为sc的实例SparkContext是使用spark功能的入口点，主要用于创建和操作RDDSparkSession是Spark2.x后引入的概念，在2.x之前，对于不同的功能，需要使用不同的Context如：创建和

21.5040

3

1

0

关注作者

收藏

大魔王泛泛

object has no attribute 'show'

‘NoneType’object has no attribute 'show' 出现这种错误：是因为 sim_df_dis_com这个变量没有赋值成功重新运行29行代码即可解决

0.0000

0

1

0

关注作者

收藏

大魔王泛泛

运行spark程序时，等待时间过长的原因

出现这种程序运行过长的原因大致就是是因为内存过小从而导致的程序运行较慢

0.0000

0

2

0

关注作者

收藏

大魔王泛泛

简述udf与def的区别

UDF即用户自定义函数，在Spark Sql的开发中十分常用，UDF对表中的每一行进行函数处理，返回新的值，有些类似与RDD编程中的Map()算子def是我们定义一个函数或方法的关键字

62.0087

2

3

0

关注作者

收藏

大魔王泛泛

ValueError: RDD is empty

出现图中报错信息是因为hdfs上没有放table.csv文件执行 hdfs dfs -put 本地文件路径 hdfs路径即可

1.0712

2

2

0

关注作者

收藏

PGC123

Mac无法使用pip安装python模块怎么解决？

Mac无法使用pip安装python模块怎么解决？已经安装了anaconda，可以正常使用的，但是不能在终端中使用pip 答：这是由于环境变量没有生效导致的无法找到 anaconda相关程序。使用anaconda的脚本安装文件安装的时候默认将环境变量配置到用户路径下的.bash_profile中。但是有些用户使用的终端不是使用bash shell,因此配置文件无法生效。新版Mac是使用zs

19.9378

4

1

0

关注作者

收藏

<1…171819…75>

CDA考试动态

CDA报考指南