数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

wo56565

请解释使用args和*kwargs的含义

当我们不知道向函数传递多少参数时，比如我们向传递一个列表或元组，我们就使用*args。>>> def func(*args): for i in args: print(i) >>> func(3,2,1,4,7)运行结果为：32147在我们不知道该传递多少关键字参数时，使用**kwargs来收集关键字参数。>>> def func(**kwargs

66.6667

1

1

0

关注作者

收藏

wo56565

解释一下Python中的三元运算子

不像C ，我们在Python中没有?:，但我们有这个：[on true] if [expression] else [on false]如果表达式为True，就执行[on true]中的语句。否则，就执行[on false]中的语句。下面是使用它的方法：>>> a,b=2,3>>> min=a if a>> min运行结果：2>>> print("H

0.0000

0

1

0

关注作者

收藏

PGC123

spark的有几种部署模式，每种模式特点？

spark的有几种部署模式，每种模式特点？答：1、本地模式Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地，一般都是为了方便调试，本地模式分三类· local：只启动一个executor· local[k]:启动k个executor· local：启动跟cpu数目相同的 executor 2、st

0.0000

0

3

0

关注作者

收藏

PGC123

Mapreduce和Spark有什么区别与联系？

Mapreduce和Spark有什么区别与联系？答：两者都是用mr模型来进行并行计算:1)hadoop的一个作业称为job，job里面分为map task和reduce task，每个task都是在自己的进程中运行的，当task结束时，进程也会结束。 2)spark用户提交的任务成为application，一个application对应一个sparkcontext，app中存在多个

0.0000

0

2

0

关注作者

收藏

PGC123

Spark技术栈有哪些组件，每个组件都有什么功能，适合什么？

Spark技术栈有哪些组件，每个组件都有什么功能，适合什么应用场景？答：1）Spark core：是其它组件的基础，spark的内核，主要包含：有向循环图、RDD、Lingage、Cache、broadcast等，并封装了底层通讯框架，是Spark的基础。 2）SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kafka、Flume

66.6780

2

0

0

关注作者

收藏

PGC123

CoarseGrainedExecutorBackend是啥

CoarseGrainedExecutorBackend是啥？答：CoarseGrainedExecutorBackend，粗粒度的ExecutorBackend进程。Worker为什么要启动另外一个进程？Worker本身是管理当前机器上的资源，变动资源的时候向Master汇报。有很多应用程序，就需要很多Executor。这样程序之间不会一个奔溃导致所有的都奔溃。1.在Coar

0.0000

0

3

0

关注作者

收藏

PGC123

执行老师的python代码报错

执行老师的代码报错：[root@cloud00 textdig]# python risk_analyse.py Building prefix dict from the default dictionary ...Dumping model to file cache /tmp/jieba.cacheLoading model cost 0.808 seconds.Prefix di

0.0000

0

3

0

关注作者

收藏

PGC123

cache和pesist有什么区别？

cache和pesist有什么区别？答：（1）cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省程序运行时间；（2）cache只有一个默认的缓存级别MEMORY_ONLY ，cache调用了persist，而persist可以根据情况设置其它的缓存级别；（3）executor执行的时候，默认60%做cache，40%做t

0.0000

0

0

0

关注作者

收藏

PGC123

spark中的数据倾斜的现象、原因、后果分别是什么？

spark中的数据倾斜的现象、原因、后果分别是什么？答：1、数据倾斜的现象多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行失败。 2、数据倾斜的原因数据问题 1）、key本身分布不均衡（包括大量的key为空） 2）、key的设置不合理 spark使用问题 1）、shuffle时的并发度不够 2）、计算方

0.0000

0

3

0

关注作者

收藏

PGC123

Spark有哪些优化方法？

Spark有哪些优化方法答：spark调优比较复杂，但是大体可以分为三个方面来进行 1）平台层面的调优：防止不必要的jar包分发，提高数据的本地性，选择高效的存储格式如parquet 2）应用程序层面的调优：过滤操作符的优化降低过多小任务，降低单条记录的资源开销，处理数据倾斜，复用RDD进行缓存，作业并行化执行等等 3）JVM层面的调优：设置合适的资源量，设置合理的JVM，启用高效的序

0.0000

0

2

0

关注作者

收藏

PGC123

spark中如何划分stage?

spark中如何划分stage?答：1.Spark Application中可以因为不同的Action触发众多的job，一个Application中可以有很多的job，每个job是由一个或者多个Stage构成的，后面的Stage依赖于前面的Stage，也就是说只有前面依赖的Stage计算完毕后，后面的Stage才会运行。 2.Stage划分的依据就是宽依赖，何时产生宽依赖，例如redu

66.6667

1

2

0

关注作者

收藏

PGC123

spark有哪些组件？

spark有哪些组件？答：1、ClusterManager:在Standalone模式中即为Master节点（主节点），控制整个集群，监控Worker.在YARN中为ResourceManager 2、Worker:从节点，负责控制计算节点，启动Executor或Driver。在YARN模式中为NodeManager,负责计算节点的控制。 3、Driver:运行Applicatio

0.0000

0

0

0

关注作者

收藏

dreamhappy2012

线性回归的学习过程：

问、线性回归的学习过程：答：1、推导：最大似然函数，代价函数最小值2、求解方法：最小二乘法：得到解析式梯度下降法：一阶导批量梯度下降随机梯度下降小批量梯度下降牛顿法：一阶导和二阶导基本牛顿法全局牛顿法拟牛顿法3、解决问题：欠拟合：多项式回归过拟合：岭回归：最小二乘法lasso回归：坐标轴下降法弹性网：

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

sklearn的solver优化方法

问、solver优化方法答：（1）liblinear：使用了开源的liblinear库实现，内部使用了坐标轴下降法来迭代优化损失函数。（2）lbfgs：拟牛顿法的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。（3）newton-cg：也是牛顿法家族的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。（4）sag：即随机平均梯度下降，是梯度下降法的变种，和普

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

梯度上升法实现二分类过程

问、梯度上升法实现二分类过程答✓ 1、数据准备✓ 2、训练算法迭代公式：矢量化：✓ 3、预测数据✓ 4、绘制决策边界

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

什么是逻辑回归？

问、什么是逻辑回归？答： Logistic回归是概率型非线性回归模型, 是研究二值型输出分类的一种多变量分析方法。通过logistic回归我们可以将二分类的观察结果y与一些影响因素[x1,x2,x3,…]建立起关系从而对某些因素条件下某个结果发生的概率进行估计并分类

66.6667

1

1

0

关注作者

收藏

dreamhappy2012

LogisticRegression - 参数说明

问、LogisticRegression - 参数说明答：penalty：惩罚项，str类型，可选参数为l1和l2，默认为l2。用于指定惩罚项中使用的规范。newton-cg、sag和lbfgs求解算法只支持L2规范。L1G规范假设的是模型的参数满足拉普拉斯分布，L2假设的模型参数满足高斯分布，所谓的范式就是加上对参数的约束，使得模型更不会过拟合(overfit)，但是如果要说是不是加了约束就

0.0000

0

2

0

关注作者

收藏

W11YA

if语句的使用

username=str(raw_input("请输入用户名:"))password=str(raw_input("请输入密码:"))if username !='' and password !='': if username == "admin" and password=="12345" : print ("身份认证成功") else:

33.9132

1

2

0

关注作者

收藏

W11YA

zip(seq1 [, seq2 […]]) -> [(seq1[0], seq2[0] …), (…)]把多个序列合并成一个序列listsorted(iterable, cmp=None, key=None, reverse=False) 对一个序列排序In [283]: zip([1,2,3], ('a', 'b', 'c'))Out[283]: [(1, 'a'), (2, 'b')

19.6521

1

2

0

关注作者

收藏

W11YA

reduce(function, sequence[, sequence, …]) 把函数作用于初始两个元素，并把返回值和下一个元素作为输入调用函数，依次迭代所有元素In [281]: reduce(lambda a, b: a-b, [1,2,3])Out[281]: -4

53.5653

2

2

0

关注作者

收藏

<1…249250251…404>

CDA考试动态

CDA报考指南