数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

PGC123

Mapreduce和Spark有什么区别与联系？

Mapreduce和Spark有什么区别与联系？答：两者都是用mr模型来进行并行计算:1)hadoop的一个作业称为job，job里面分为map task和reduce task，每个task都是在自己的进程中运行的，当task结束时，进程也会结束。 2)spark用户提交的任务成为application，一个application对应一个sparkcontext，app中存在多个

0.0000

0

2

0

关注作者

收藏

PGC123

Spark技术栈有哪些组件，每个组件都有什么功能，适合什么？

Spark技术栈有哪些组件，每个组件都有什么功能，适合什么应用场景？答：1）Spark core：是其它组件的基础，spark的内核，主要包含：有向循环图、RDD、Lingage、Cache、broadcast等，并封装了底层通讯框架，是Spark的基础。 2）SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kafka、Flume

66.6780

2

0

0

关注作者

收藏

PGC123

CoarseGrainedExecutorBackend是啥

CoarseGrainedExecutorBackend是啥？答：CoarseGrainedExecutorBackend，粗粒度的ExecutorBackend进程。Worker为什么要启动另外一个进程？Worker本身是管理当前机器上的资源，变动资源的时候向Master汇报。有很多应用程序，就需要很多Executor。这样程序之间不会一个奔溃导致所有的都奔溃。1.在Coar

0.0000

0

3

0

关注作者

收藏

PGC123

cache和pesist有什么区别？

cache和pesist有什么区别？答：（1）cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省程序运行时间；（2）cache只有一个默认的缓存级别MEMORY_ONLY ，cache调用了persist，而persist可以根据情况设置其它的缓存级别；（3）executor执行的时候，默认60%做cache，40%做t

0.0000

0

0

0

关注作者

收藏

PGC123

spark中的数据倾斜的现象、原因、后果分别是什么？

spark中的数据倾斜的现象、原因、后果分别是什么？答：1、数据倾斜的现象多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行失败。 2、数据倾斜的原因数据问题 1）、key本身分布不均衡（包括大量的key为空） 2）、key的设置不合理 spark使用问题 1）、shuffle时的并发度不够 2）、计算方

0.0000

0

3

0

关注作者

收藏

PGC123

Spark有哪些优化方法？

Spark有哪些优化方法答：spark调优比较复杂，但是大体可以分为三个方面来进行 1）平台层面的调优：防止不必要的jar包分发，提高数据的本地性，选择高效的存储格式如parquet 2）应用程序层面的调优：过滤操作符的优化降低过多小任务，降低单条记录的资源开销，处理数据倾斜，复用RDD进行缓存，作业并行化执行等等 3）JVM层面的调优：设置合适的资源量，设置合理的JVM，启用高效的序

0.0000

0

2

0

关注作者

收藏

PGC123

spark中如何划分stage?

spark中如何划分stage?答：1.Spark Application中可以因为不同的Action触发众多的job，一个Application中可以有很多的job，每个job是由一个或者多个Stage构成的，后面的Stage依赖于前面的Stage，也就是说只有前面依赖的Stage计算完毕后，后面的Stage才会运行。 2.Stage划分的依据就是宽依赖，何时产生宽依赖，例如redu

66.6667

1

2

0

关注作者

收藏

PGC123

spark有哪些组件？

spark有哪些组件？答：1、ClusterManager:在Standalone模式中即为Master节点（主节点），控制整个集群，监控Worker.在YARN中为ResourceManager 2、Worker:从节点，负责控制计算节点，启动Executor或Driver。在YARN模式中为NodeManager,负责计算节点的控制。 3、Driver:运行Applicatio

0.0000

0

0

0

关注作者

收藏

PGC123

Spark中Work的主要工作是什么？

Spark中Work的主要工作是什么？答：主要功能：管理当前节点内存，CPU的使用状况，接收master分配过来的资源指令，通过ExecutorRunner启动程序分配任务，worker就类似于包工头，管理分配新进程，做计算的服务，相当于process服务。需要注意的是： 1）worker会不会汇报当前信息给master，worker心跳给master主要只有workid，它不会发送资

0.0000

0

2

0

关注作者

收藏

PGC123

Spark driver的功能是什么？

Spark driver的功能是什么？答：1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点； 2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度，，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。

0.0000

0

5

0

关注作者

收藏

PGC123

Spark master使用zookeeper进行HA

Spark master使用zookeeper进行HA的，有哪些元数据保存在Zookeeper？答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeper中保存的位置，包括Worker，Driver和Application以及Executors。standby节点要从zk中，获得元数据信息，恢复集群运行状态，才能对外继续提供服务，

0.0000

0

0

0

关注作者

收藏

PGC123

什么是的粗粒度分配，什么是细粒度分配？

Spark on Mesos中，什么是的粗粒度分配，什么是细粒度分配，各自的优点和缺点是什么？答：1）粗粒度：启动时就分配好资源，程序启动，后续具体使用就使用分配好的资源，不需要再分配资源；优点：作业特别多时，资源复用率高，适合粗粒度；缺点：容易资源浪费，假如一个job有1000个task，完成了999个，还有一个没完成，那么使用粗粒度，999个资源就会闲置在那里，资源浪费。

0.0000

0

2

0

关注作者

收藏

PGC123

spark DtaFrame降序排序某一列的方式

spark DtaFrame降序排序某一列的方式有哪些？答：Spark默认的排序方式为升序，而降序的用法和python语言等又不一样。常见的方法有以下几种：方法一取反符号法 df.orderBy(-df["col2"]).show()方法二：对象方法desc df.orderBy(df["col2"].desc()).show()

0.0000

0

0

0

关注作者

收藏

dreamhappy2012

线性回归的学习过程：

问、线性回归的学习过程：答：1、推导：最大似然函数，代价函数最小值2、求解方法：最小二乘法：得到解析式梯度下降法：一阶导批量梯度下降随机梯度下降小批量梯度下降牛顿法：一阶导和二阶导基本牛顿法全局牛顿法拟牛顿法3、解决问题：欠拟合：多项式回归过拟合：岭回归：最小二乘法lasso回归：坐标轴下降法弹性网：

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

sklearn的solver优化方法

问、solver优化方法答：（1）liblinear：使用了开源的liblinear库实现，内部使用了坐标轴下降法来迭代优化损失函数。（2）lbfgs：拟牛顿法的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。（3）newton-cg：也是牛顿法家族的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。（4）sag：即随机平均梯度下降，是梯度下降法的变种，和普

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

sklearn中penalty惩罚项

问、sklearn中penalty惩罚项答：str, ‘l1’ or ‘l2’, 默认: ‘l2’ 注：在调参时如果我们主要的目的只是为了解决过拟合，一般penalty选择L2正则化就够了。但是如果选择L2正则化发现还是过拟合，即预测效果差的时候，就可以考虑L1正则化。另外，如果模型的特征非常多，我们希望一些不重要的特征系数归零，从而让模型系数稀疏化的话，也可以使用L1正则化。

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

梯度上升法实现二分类过程

问、梯度上升法实现二分类过程答✓ 1、数据准备✓ 2、训练算法迭代公式：矢量化：✓ 3、预测数据✓ 4、绘制决策边界

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

什么是逻辑回归？

问、什么是逻辑回归？答： Logistic回归是概率型非线性回归模型, 是研究二值型输出分类的一种多变量分析方法。通过logistic回归我们可以将二分类的观察结果y与一些影响因素[x1,x2,x3,…]建立起关系从而对某些因素条件下某个结果发生的概率进行估计并分类

66.6667

1

1

0

关注作者

收藏

dreamhappy2012

LogisticRegression - 参数说明

问、LogisticRegression - 参数说明答：penalty：惩罚项，str类型，可选参数为l1和l2，默认为l2。用于指定惩罚项中使用的规范。newton-cg、sag和lbfgs求解算法只支持L2规范。L1G规范假设的是模型的参数满足拉普拉斯分布，L2假设的模型参数满足高斯分布，所谓的范式就是加上对参数的约束，使得模型更不会过拟合(overfit)，但是如果要说是不是加了约束就

0.0000

0

2

0

关注作者

收藏

W11YA

三局两胜的游戏

import randomcomptuer_win=0payer_win=0while True : payer=int(raw_input('请输入你的指令(0:石头，1：剪刀，2：布):')) comptuer=random.randint(0,2) if (payer == 1 and comptuer == 2 ) or (payer == 0 and c

0.0000

0

3

0

关注作者

收藏

<1…335336337…531>

CDA考试动态

CDA报考指南