热线电话：13121318867

登录
热搜话题:
ai长文生成
Scikit-learn
Python
大数据
数据分析师
统计学
微积分
线性代数
Excel
Power BI
R语言
SPSS
Mysql
快速发帖
我要提问
最新
热门
关注
推荐
问答
大魔王泛泛
什么数据倾斜？
数据倾斜就是指我们在计算数据的时候，数据的分散度不够，导致大量的数据集中到一台或者几台机器上，这些数据的计算速度远远低于平均计算速度，导致整个计算过程很慢
0.0000
4
0
关注作者
收藏
大魔王泛泛
HDFS的读写流程
1. 读文件流程1）client端发送读文件请求给namenode，如果文件不存在，返回错误信息，否则，将该文件对应的block及其所在datanode位置发送给client2） client收到文件位置信息后，与不同datanode建立socket连接并行获取数据。 2. 写文件流程1）client端发送写文件请求，namenode检查文件是否存在，如果已存在，直接返回错误信息，否则，
0.0000
4
0
关注作者
收藏
大魔王泛泛
HDFS上小文件过多带来的影响
1. 内存占用 每个小文件都会在namenode中存有相应的元数据信息.如果每一个文件的元数据信息占用内存100byte,那么有10万个小文件, 就占用了namenode10G的内存空间2. 数据查询慢 小文件过多也会影响系统的查询速度3. 浪费资源 在hadoop上进行数据计算时，每一个小文件都要对应一个task, 而每一个task启动阶段会耗费大量的时间在任务资源申请和释放上
0.0000
2
0
关注作者
收藏
大魔王泛泛
什么是HDFS上的小文件？
HDFS存储文件时的最小单元叫做block，Hadoop1.x中 block大小为64MB，Hadoop2.x中 block大小为128M小文件就是指，在HDFS上存储的文件大小远小于一个block块大小的文件
0.0000
2
0
关注作者
收藏
大魔王泛泛
关于NameNode的一些重要文件说明
1. fsimage：存储命名空间(实际上就是目录和文件)的元数据信息；2. edits：用来存储对命名空间操作的日志信息，实现namenode节点的恢复；3. fstime：用来存储check point 的时间；4. VERSION：存放namenode的版本信息；
0.0000
3
0
关注作者
收藏
大魔王泛泛
启动集群时NameNode为什么会进入安全模式？
1. NameNode会检查DataNode的情况会占用一段时间2. DataNode上的block有缺失
0.0000
2
0
关注作者
收藏
大魔王泛泛
NameNode进入安全模式时怎样退出？
1. 自动退出：默认等待30秒NameNode自动退出安全模式2.手动退出：hdfs dfsadmin -safemode leave
0.0000
2
0
关注作者
收藏
大魔王泛泛
HDFS中的NameNode和DataNode的区别
NameNode：管理元数据信息 DataNode：存储数据
0.0000
2
0
关注作者
收藏
liting李
梯度是倒数吗以及梯度有什么用
梯度不是倒数。原因如下：1.梯度是一根向量，向量所指向的方向必须是斜率在最大的方向，长度等于其倒数值。2.梯度在向量微积分中，标量场的梯度是一个向量场。标量场中某一点上的梯度指向标量场增长最快的方向，梯度的长度是这个最大的变化率。更严格的说，从欧氏空间Rn到R的函数的梯度是在Rn某一点最佳的线性近似。在这个意义上，梯度是雅戈比矩阵的一个特殊情况。 在单变量的实值函数的情况，梯度只是导数，或者
0.0000
3
0
关注作者
收藏
三卿
数据分析师与大数据分析师的区别
简单的来说，大数据分析师的大字体现在比数据分析师的数据的体量大上。由数据的大体量而引发的在理论基础、所需技能、分析方法和业务上的区别。从工具上来说：数据分析师需要：Excel、SQL、向上还有SPSS、R、Python和SAS等工具。大数据分析师需要：SQL、Hadoop、Hive、Spark等。从分析方法上来说：数据分析需要：将业务目标转化为数据分析目标；熟悉数据结构与常用的算法；
0.0000
2
0
关注作者
收藏
PGC123
spark的有几种部署模式，每种模式特点？
spark的有几种部署模式，每种模式特点？ 答：1、本地模式Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地，一般都是为了方便调试，本地模式分三类· local：只启动一个executor· local[k]:启动k个executor· local：启动跟cpu数目相同的 executor 2、st
0.0000
3
0
关注作者
收藏
PGC123
Mapreduce和Spark有什么区别与联系？
Mapreduce和Spark有什么区别与联系？ 答：两者都是用mr模型来进行并行计算:1)hadoop的一个作业称为job，job里面分为map task和reduce task，每个task都是在自己的进程中运行的，当task结束时，进程也会结束。 2)spark用户提交的任务成为application，一个application对应一个sparkcontext，app中存在多个
0.0000
2
0
关注作者
收藏
PGC123
Spark技术栈有哪些组件，每个组件都有什么功能，适合什么？
Spark技术栈有哪些组件，每个组件都有什么功能，适合什么应用场景？ 答：1）Spark core：是其它组件的基础，spark的内核，主要包含：有向循环图、RDD、Lingage、Cache、broadcast等，并封装了底层通讯框架，是Spark的基础。 2）SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kafka、Flume
66.6780
0
0
关注作者
收藏
PGC123
CoarseGrainedExecutorBackend是啥
CoarseGrainedExecutorBackend是啥？答：CoarseGrainedExecutorBackend，粗粒度的ExecutorBackend进程。Worker为什么要启动另外一个进程？Worker本身是管理当前机器上的资源，变动资源的时候向Master汇报。有很多应用程序，就需要很多Executor。这样程序之间不会一个奔溃导致所有的都奔溃。1.在Coar
0.0000
3
0
关注作者
收藏
PGC123
执行老师的python代码报错
执行老师的代码报错：[root@cloud00 textdig]# python risk_analyse.py Building prefix dict from the default dictionary ...Dumping model to file cache /tmp/jieba.cacheLoading model cost 0.808 seconds.Prefix di
0.0000
3
0
关注作者
收藏
PGC123
cache和pesist有什么区别？
cache和pesist有什么区别？答：（1）cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省程序运行时间； （2）cache只有一个默认的缓存级别MEMORY_ONLY ，cache调用了persist，而persist可以根据情况设置其它的缓存级别； （3）executor执行的时候，默认60%做cache，40%做t
0.0000
0
0
关注作者
收藏
PGC123
spark中的数据倾斜的现象、原因、后果 分别是什么？
spark中的数据倾斜的现象、原因、后果 分别是什么？答：1、数据倾斜的现象 多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行失败。 2、数据倾斜的原因 数据问题 1）、key本身分布不均衡（包括大量的key为空） 2）、key的设置不合理 spark使用问题 1）、shuffle时的并发度不够 2）、计算方
0.0000
3
0
关注作者
收藏
PGC123
Spark有哪些优化方法 ？
Spark有哪些优化方法 答：spark调优比较复杂，但是大体可以分为三个方面来进行 1）平台层面的调优：防止不必要的jar包分发，提高数据的本地性，选择高效的存储格式如parquet 2）应用程序层面的调优：过滤操作符的优化降低过多小任务，降低单条记录的资源开销，处理数据倾斜，复用RDD进行缓存，作业并行化执行等等 3）JVM层面的调优：设置合适的资源量，设置合理的JVM，启用高效的序
0.0000
2
0
关注作者
收藏
PGC123
spark中如何划分stage?
spark中如何划分stage?答：1.Spark Application中可以因为不同的Action触发众多的job，一个Application中可以有很多的job，每个job是由一个或者多个Stage构成的，后面的Stage依赖于前面的Stage，也就是说只有前面依赖的Stage计算完毕后，后面的Stage才会运行。 2.Stage划分的依据就是宽依赖，何时产生宽依赖，例如redu
66.6667
2
0
关注作者
收藏
PGC123
spark有哪些组件？
spark有哪些组件？ 答：1、ClusterManager:在Standalone模式中即为Master节点（主节点），控制整个集群，监控Worker.在YARN中为ResourceManager 2、Worker:从节点，负责控制计算节点，启动Executor或Driver。在YARN模式中为NodeManager,负责计算节点的控制。 3、Driver:运行Applicatio
0.0000
0
0
关注作者
收藏
<1…323334…75>
CDA考试动态
考试介绍
考试大纲
考试内容
考试地点
CDA报考指南
报考流程
考试时间
报名费用
联系我们
热门栏目
考试动态
报考指南
复习备考
职业发展
直播公开课
经验分享
Copyright © 2015-2020, www.pinggu.com All Rights Reserved. CDA数据分析师(北京国富如荷网络科技有限公司) 版权所有 京ICP备18052299号-1