数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

W11YA

Python中的一些指令2

安装包到用户目录：pip install 包名 --user安装本地的安装包：pip install 目录|文件名卸载包：pip uninstall 包名升级包：pip install 包名 --upgrade显示包所在目录：pip show -f 包名搜索包：pip search 关键字查询可升级的包：pip list -o下载包但不安装：

66.6667

1

2

0

关注作者

收藏

詹惠儿

如何用标签索引元素

使用Label访问元素（索引）：为了从系列访问元素，我们必须通过索引标签设置值。Series类似于固定大小的字典，您可以通过索引标签获取和设置值。使用索引标签访问单个元素# import pandas and numpy import pandas as pdimport numpy as np # creating simple arraydata = np.array(

0.0000

0

3

0

关注作者

收藏

詹惠儿

如何理解add.data

'add（）'返回作为参数传递的x和y的总和但是它被装饰器函数包装，调用add（2,3）只会给出两个数字的总和，但是当我们调用add.data时，'add'函数是传递给装饰器函数'attach_data'作为参数，此函数返回'add'函数，其属性'data'设置为3，因此将其打印出来。# A Python example to demonstrate that # decorators ca

0.0000

0

3

0

关注作者

收藏

詹惠儿

何时以及为何使用闭包

何时以及为何使用闭包：由于闭包用作回调函数，它们提供某种数据隐藏。这有助于我们减少全局变量的使用。当我们的代码中的函数很少时，闭包被证明是有效的方式。但是如果我们需要有很多功能，那就去上课（OOP）吧。# Python program to illustrate # closures import logging logging.basicConfig(filename='exampl

66.6667

1

2

0

关注作者

收藏

W11YA

用if语句玩个小游戏

import randomcomptuer_win=0payer_win=0while True : payer=int(raw_input('请输入你的指令(0:石头，1：剪刀，2：布):')) comptuer=random.randint(0,2) if (payer == 1 and comptuer == 2 ) or (payer == 0 and c

0.0000

0

1

0

关注作者

收藏

W11YA

用条件分支结构计算个人所得税

salary=float(input('本月收入:'))insurance=float(input('五险一金扣除:'))diff=salary-insurance-5000if diff

66.6667

1

2

0

关注作者

收藏

W11YA

用条件分支结构计算三角形周长和面积

import matha=int(raw_input("请输入三角形的第一条边长:"))b=int(raw_input("请输入三角形的第二条边长:"))c=int(raw_input("请输入三角形的第二条边长:"))if a b > c and a c>b and b c >a : print("三角形的周长:{}".format(a b c)) #三角形面积，已知

0.0000

0

0

0

关注作者

收藏

wo56565

如何以就地操作方式打乱一个列表的元素？

为了达到这个目的，我们从random模块中导入shuffle()函数。 >>> from random import shuffle >>> shuffle(mylist) >>> mylist 运行结果： [3, 4, 8, 0, 5, 7, 6, 2, 1]

0.0000

0

2

0

关注作者

收藏

wo56565

请解释使用args和*kwargs的含义

当我们不知道向函数传递多少参数时，比如我们向传递一个列表或元组，我们就使用*args。>>> def func(*args): for i in args: print(i) >>> func(3,2,1,4,7)运行结果为：32147在我们不知道该传递多少关键字参数时，使用**kwargs来收集关键字参数。>>> def func(**kwargs

66.6667

1

1

0

关注作者

收藏

wo56565

解释一下Python中的三元运算子

不像C ，我们在Python中没有?:，但我们有这个：[on true] if [expression] else [on false]如果表达式为True，就执行[on true]中的语句。否则，就执行[on false]中的语句。下面是使用它的方法：>>> a,b=2,3>>> min=a if a>> min运行结果：2>>> print("H

0.0000

0

1

0

关注作者

收藏

wo56565

Mysql中使用count加条件统计

使用count()函数实现条件统计的基础是对于值为NULL的记录不计数，常用的有以下三种方式，假设统计num大于200的记录select count(num > 200 or null) from a;select count(if(num > 200, 1, null)) from aselect count(case when num > 200 then 1 end) from a

66.6667

1

5

0

关注作者

收藏

PGC123

spark的有几种部署模式，每种模式特点？

spark的有几种部署模式，每种模式特点？答：1、本地模式Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地，一般都是为了方便调试，本地模式分三类· local：只启动一个executor· local[k]:启动k个executor· local：启动跟cpu数目相同的 executor 2、st

0.0000

0

3

0

关注作者

收藏

PGC123

Mapreduce和Spark有什么区别与联系？

Mapreduce和Spark有什么区别与联系？答：两者都是用mr模型来进行并行计算:1)hadoop的一个作业称为job，job里面分为map task和reduce task，每个task都是在自己的进程中运行的，当task结束时，进程也会结束。 2)spark用户提交的任务成为application，一个application对应一个sparkcontext，app中存在多个

0.0000

0

2

0

关注作者

收藏

PGC123

Spark技术栈有哪些组件，每个组件都有什么功能，适合什么？

Spark技术栈有哪些组件，每个组件都有什么功能，适合什么应用场景？答：1）Spark core：是其它组件的基础，spark的内核，主要包含：有向循环图、RDD、Lingage、Cache、broadcast等，并封装了底层通讯框架，是Spark的基础。 2）SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kafka、Flume

66.6780

2

0

0

关注作者

收藏

PGC123

CoarseGrainedExecutorBackend是啥

CoarseGrainedExecutorBackend是啥？答：CoarseGrainedExecutorBackend，粗粒度的ExecutorBackend进程。Worker为什么要启动另外一个进程？Worker本身是管理当前机器上的资源，变动资源的时候向Master汇报。有很多应用程序，就需要很多Executor。这样程序之间不会一个奔溃导致所有的都奔溃。1.在Coar

0.0000

0

3

0

关注作者

收藏

PGC123

cache和pesist有什么区别？

cache和pesist有什么区别？答：（1）cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省程序运行时间；（2）cache只有一个默认的缓存级别MEMORY_ONLY ，cache调用了persist，而persist可以根据情况设置其它的缓存级别；（3）executor执行的时候，默认60%做cache，40%做t

0.0000

0

0

0

关注作者

收藏

PGC123

spark中的数据倾斜的现象、原因、后果分别是什么？

spark中的数据倾斜的现象、原因、后果分别是什么？答：1、数据倾斜的现象多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行失败。 2、数据倾斜的原因数据问题 1）、key本身分布不均衡（包括大量的key为空） 2）、key的设置不合理 spark使用问题 1）、shuffle时的并发度不够 2）、计算方

0.0000

0

3

0

关注作者

收藏

PGC123

Spark有哪些优化方法？

Spark有哪些优化方法答：spark调优比较复杂，但是大体可以分为三个方面来进行 1）平台层面的调优：防止不必要的jar包分发，提高数据的本地性，选择高效的存储格式如parquet 2）应用程序层面的调优：过滤操作符的优化降低过多小任务，降低单条记录的资源开销，处理数据倾斜，复用RDD进行缓存，作业并行化执行等等 3）JVM层面的调优：设置合适的资源量，设置合理的JVM，启用高效的序

0.0000

0

2

0

关注作者

收藏

PGC123

spark中如何划分stage?

spark中如何划分stage?答：1.Spark Application中可以因为不同的Action触发众多的job，一个Application中可以有很多的job，每个job是由一个或者多个Stage构成的，后面的Stage依赖于前面的Stage，也就是说只有前面依赖的Stage计算完毕后，后面的Stage才会运行。 2.Stage划分的依据就是宽依赖，何时产生宽依赖，例如redu

66.6667

1

2

0

关注作者

收藏

PGC123

spark有哪些组件？

spark有哪些组件？答：1、ClusterManager:在Standalone模式中即为Master节点（主节点），控制整个集群，监控Worker.在YARN中为ResourceManager 2、Worker:从节点，负责控制计算节点，启动Executor或Driver。在YARN模式中为NodeManager,负责计算节点的控制。 3、Driver:运行Applicatio

0.0000

0

0

0

关注作者

收藏

<1…334335336…530>

CDA考试动态

CDA报考指南