数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

PGC123

cache和pesist有什么区别？

cache和pesist有什么区别？答：（1）cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省程序运行时间；（2）cache只有一个默认的缓存级别MEMORY_ONLY ，cache调用了persist，而persist可以根据情况设置其它的缓存级别；（3）executor执行的时候，默认60%做cache，40%做t

0.0000

0

0

0

关注作者

收藏

PGC123

spark中的数据倾斜的现象、原因、后果分别是什么？

spark中的数据倾斜的现象、原因、后果分别是什么？答：1、数据倾斜的现象多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行失败。 2、数据倾斜的原因数据问题 1）、key本身分布不均衡（包括大量的key为空） 2）、key的设置不合理 spark使用问题 1）、shuffle时的并发度不够 2）、计算方

0.0000

0

3

0

关注作者

收藏

PGC123

Spark有哪些优化方法？

Spark有哪些优化方法答：spark调优比较复杂，但是大体可以分为三个方面来进行 1）平台层面的调优：防止不必要的jar包分发，提高数据的本地性，选择高效的存储格式如parquet 2）应用程序层面的调优：过滤操作符的优化降低过多小任务，降低单条记录的资源开销，处理数据倾斜，复用RDD进行缓存，作业并行化执行等等 3）JVM层面的调优：设置合适的资源量，设置合理的JVM，启用高效的序

0.0000

0

2

0

关注作者

收藏

PGC123

spark中如何划分stage?

spark中如何划分stage?答：1.Spark Application中可以因为不同的Action触发众多的job，一个Application中可以有很多的job，每个job是由一个或者多个Stage构成的，后面的Stage依赖于前面的Stage，也就是说只有前面依赖的Stage计算完毕后，后面的Stage才会运行。 2.Stage划分的依据就是宽依赖，何时产生宽依赖，例如redu

66.6667

1

2

0

关注作者

收藏

PGC123

spark有哪些组件？

spark有哪些组件？答：1、ClusterManager:在Standalone模式中即为Master节点（主节点），控制整个集群，监控Worker.在YARN中为ResourceManager 2、Worker:从节点，负责控制计算节点，启动Executor或Driver。在YARN模式中为NodeManager,负责计算节点的控制。 3、Driver:运行Applicatio

0.0000

0

0

0

关注作者

收藏

dreamhappy2012

线性回归的学习过程：

问、线性回归的学习过程：答：1、推导：最大似然函数，代价函数最小值2、求解方法：最小二乘法：得到解析式梯度下降法：一阶导批量梯度下降随机梯度下降小批量梯度下降牛顿法：一阶导和二阶导基本牛顿法全局牛顿法拟牛顿法3、解决问题：欠拟合：多项式回归过拟合：岭回归：最小二乘法lasso回归：坐标轴下降法弹性网：

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

sklearn的solver优化方法

问、solver优化方法答：（1）liblinear：使用了开源的liblinear库实现，内部使用了坐标轴下降法来迭代优化损失函数。（2）lbfgs：拟牛顿法的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。（3）newton-cg：也是牛顿法家族的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。（4）sag：即随机平均梯度下降，是梯度下降法的变种，和普

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

梯度上升法实现二分类过程

问、梯度上升法实现二分类过程答✓ 1、数据准备✓ 2、训练算法迭代公式：矢量化：✓ 3、预测数据✓ 4、绘制决策边界

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

什么是逻辑回归？

问、什么是逻辑回归？答： Logistic回归是概率型非线性回归模型, 是研究二值型输出分类的一种多变量分析方法。通过logistic回归我们可以将二分类的观察结果y与一些影响因素[x1,x2,x3,…]建立起关系从而对某些因素条件下某个结果发生的概率进行估计并分类

66.6667

1

1

0

关注作者

收藏

dreamhappy2012

LogisticRegression - 参数说明

问、LogisticRegression - 参数说明答：penalty：惩罚项，str类型，可选参数为l1和l2，默认为l2。用于指定惩罚项中使用的规范。newton-cg、sag和lbfgs求解算法只支持L2规范。L1G规范假设的是模型的参数满足拉普拉斯分布，L2假设的模型参数满足高斯分布，所谓的范式就是加上对参数的约束，使得模型更不会过拟合(overfit)，但是如果要说是不是加了约束就

0.0000

0

2

0

关注作者

收藏

W11YA

if语句的使用

username=str(raw_input("请输入用户名:"))password=str(raw_input("请输入密码:"))if username !='' and password !='': if username == "admin" and password=="12345" : print ("身份认证成功") else:

33.9132

1

2

0

关注作者

收藏

W11YA

zip(seq1 [, seq2 […]]) -> [(seq1[0], seq2[0] …), (…)]把多个序列合并成一个序列listsorted(iterable, cmp=None, key=None, reverse=False) 对一个序列排序In [283]: zip([1,2,3], ('a', 'b', 'c'))Out[283]: [(1, 'a'), (2, 'b')

19.6521

1

2

0

关注作者

收藏

W11YA

reduce(function, sequence[, sequence, …]) 把函数作用于初始两个元素，并把返回值和下一个元素作为输入调用函数，依次迭代所有元素In [281]: reduce(lambda a, b: a-b, [1,2,3])Out[281]: -4

53.5653

2

2

0

关注作者

收藏

W11YA

map(function, sequence[, sequence, …]) 把一个函数应用于每一个元素并返回一个listIn [269]: map(lambda x: x 3, [1,2,3])Out[269]: [4, 5, 6]In [270]: a = [1,2]; b = ['a', 'b']; c = ('x', 'y')In [271]: map(None, a, b, c

19.6521

1

5

0

关注作者

收藏

W11YA

len(object) 返回一个对象的元素个数In [267]: len('abc'), len([1,2,3])Out[267]: (3, 3)

0.0000

0

1

0

关注作者

收藏

詹惠儿

python如何将12小时转换为24小时格式

给出12小时AM / PM格式的时间，将其转换为军事（24小时）时间。注意：午夜是12小时制的凌晨12:00:00和24小时制的00:00:00。中午是12小时制的12:00:00 PM和24小时制的12:00:00。例子：输入：晚上11:21:30输出：23：21：30输入：上午12:12:20输出：00：12：20# Python program to convert

0.0000

0

3

0

关注作者

收藏

詹惠儿

理解python的单个神经网络

神经网络是深度学习的核心，这个领域在许多不同领域都有实际应用。今天，神经网络被用于图像分类，语音识别，物体检测等。现在，让我们试着理解所有这些艺术技术背后的基本单位。单个神经元将给定输入转换为某个输出。根据分配给每个输入的给定输入和权重，确定神经元是否发射。假设神经元有3个输入连接和1个输出。a在给定的例子中，我们将使用tanh 激活函数。

0.0000

0

4

0

关注作者

收藏

詹惠儿

如何用python实现卷积

卷积卷积是一种对图像执行的操作，用于从图像中提取一个称为内核的较小张量，如图像上的滑动窗口。根据卷积内核中的值，我们可以从图像中选取特定的模式。在下面的示例中，我们将演示使用适当的内核检测图像中的水平和垂直边缘。import numpy as np import matplotlib.pyplot as plt # let img1 be an image with no featur

0.0000

0

0

0

关注作者

收藏

W11YA

filter(function or None, s）

filter(function or None, squence) 返回满足function(item)为True的元素In [263]: filter(lambda x: x>3, [1,2,3,4,5])Out[263]: [4, 5]

0.0000

0

3

0

关注作者

收藏

W11YA

all(iterable) any(iterable)

all(iterable) 如果一个序列所有值都为真就返回True，否则返回Falseany(iterable) 如果一个序列至少有一个为真就返回True，否则FalseIn [255]: all([1,2,3,4])Out[255]: TrueIn [256]: all([1,2,3,4, 0])Out[256]: FalseIn [257]: any([1,2,3,4, 0])

0.0000

0

3

0

关注作者

收藏

<1…249250251…404>

CDA考试动态

CDA报考指南