数据分析师-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

PGC123

python 如何实现spark 计数？

python 如何实现spark 计数？我们通过pyspark 这种交互式的工具进行展示：lines= sc.textFile("README.md")#创建名为lines的RDDlines.count()# 统计RDD中的元素个数lines.first() #取元素的第一行

0.0000

0

4

0

关注作者

收藏

詹惠儿

python如何使用索引数组进行索引

使用索引数组进行索引通过使用数组作为索引，可以在numpy中完成索引。在切片的情况下，返回数组的视图或浅副本，但在索引数组中返回原始数组的副本。Numpy数组可以使用其他数组或任何其他序列进行索引，但元组除外。最后一个元素的索引为-1秒，最后为-2，依此类推。示例＃1：# Python program to demonstrate # the use of index arrays.i

0.0000

0

6

0

关注作者

收藏

詹惠儿

为什么我们需要NumPy？

为什么我们需要NumPy？出现了一个问题，当python列表已存在时，为什么我们需要NumPy。答案是我们无法直接对两个列表的所有元素执行操作。例如，我们不能直接乘以两个列表，我们必须按元素方式进行。这就是NumPy的作用发挥作用的地方。示例＃1：# Python program to demonstrate a need of NumPy list1 = [1, 2, 3, 4 ,

75.0000

1

0

0

关注作者

收藏

詹惠儿

如何理解结构化数组的数据类型对象

具有结构化数组的数据类型对象：数据类型对象对于创建结构化数组非常有用。结构化数组是包含不同类型数据的数组。可以在字段的帮助下访问结构化数组。字段就像指定对象的名称。在结构化数组的情况下，dtype对象也将被构造。 # Python program for demonstrating # the use of fieldsimport numpy as np # A structur

37.5000

1

1

0

关注作者

收藏

詹惠儿

python如何构建数据类型

每个ndarray都有一个关联的数据类型（dtype）对象。此数据类型对象（dtype）通知我们有关数组的布局。这意味着它为我们提供了以下信息：数据类型（整数，浮点数，Python对象等）数据大小（字节数）数据的字节顺序（little-endian或big-endian）如果数据类型是子数组，那么它的形状和数据类型是什么。ndarray的值存储在缓冲区中，缓冲区可以被认为是连续的存储

75.0000

1

2

0

关注作者

收藏

詹惠儿

python如何展平数组

展平数组：我们可以使用展平方法将数据的副本折叠到一个维度。它接受订单参数。默认值为“C”（对于行主要顺序）。使用'F'作为列主要订单。numpy.ndarray.flatten（order ='C'）：将折叠的数组的副本返回到一个维度。# Python Program illustrating# numpy.flatten() method import numpy as geek

37.5000

1

4

0

关注作者

收藏

詹惠儿

python的linspace函数

numpy.linspace（start，stop，num = 50，endpoint = True，retstep = False，dtype = None）：均匀地返回数字空格。与范围类似但不是步骤而是使用样本编号。# Python Programming illustrating# numpy.linspace method import numpy as geek # res

75.0000

1

4

0

关注作者

收藏

詹惠儿

python如何重塑数组

重塑数组：我们可以使用reshape方法重塑数组。考虑一个具有形状的数组（a1，a2，a3，...，aN）。我们可以重塑并将其转换为另一个具有形状的数组（b1，b2，b3，...，bM）。唯一需要的条件是：a1 x a2 x a3 ... x aN = b1 x b2 x b3 ... x bM。（即阵列的原始大小保持不变。）numpy.reshape（array，shape，order

0.0000

0

3

0

关注作者

收藏

詹惠儿

如何使用numpy方法创建数组

使用numpy方法创建数组： NumPy提供了几个函数来创建具有初始占位符内容的数组。这些最小化了增加阵列的必要性，这是一项昂贵的操作例如：np.zeros，np.empty等。numpy.empty（shape，dtype = float，order ='C'）：返回给定形状和类型的新数组，带有随机值。# Python Programming illustrating# numpy

0.0000

0

2

0

关注作者

收藏

詹惠儿

如何使用数组函数创建数组

使用数组函数创建数组：array（数据类型，值列表）函数用于创建一个数组，其数据类型和值在参数中指定。示例：# Python code to demonstrate the working of # array() # importing "array" for array operationsimport array # initializing array with

37.5000

1

1

0

关注作者

收藏

詹惠儿

Numpy中的N维数组

Numpy中的数组是一个元素表（通常是数字），它们都是相同的类型，由正整数元组索引。在Numpy中，数组的维数被称为数组的等级。沿每个维度给出数组大小的整数元组称为数组的形状。Numpy中的数，类称为ndarray。Numpy数组中的元素可以使用方括号访问，并且可以使用嵌套的Python列表进行初始化。示例：[[1,2,3]， [4,2,5]]这里，rank = 2（因为它是

0.0000

0

2

0

关注作者

收藏

PGC123

RDD的特性有哪些？

RDD的特性答：RDD有如下特性RDD是各个分区的集合，包括多个分区PartionRDD的分区使用多种算子操作进行计算RDD之间存在依赖关系根据是否经过shuffle流程拆分为宽依赖和窄依赖形式的RDD需要重新分区，

37.5000

1

1

0

关注作者

收藏

PGC123

spark计算阶段是如何划分的？

Spark 计算阶段划分是怎么样的？答：spark的阶段划分如下所示由job stage task 三个层级的每个stage是一个jvm 进程，task 是进程中的一个线程。

0.0000

0

3

0

关注作者

收藏

PGC123

hive 创建表代码报错

使用hive创建表create table youtube1(videoId string,uploader string,age int,category array,length int,views int,rate float,ratings int,comments int,relatedId array) row format delimited fields t

0.0000

0

1

0

关注作者

收藏

kejiayuan0806

使用scott账户登录报错

问题描述：使用scott账户登录报错，协议适配器错误。解决方法：查看oracle服务器，将所有的oracle服务器都启动。然后重启sql plus，即可。

135.5890

2

8

0

关注作者

收藏

kejiayuan0806

在登录scott用户的前提下，修改scott

问题描述：在登录scott用户的前提下，如何修改scott 解决方法：既然能登录进去scott，说明scott用户已经是解锁即open状态。不需要再修改用户的状态。并且，修改状态是在sys 数据库管理员用户上才有权限修改。

0.0000

0

0

0

关注作者

收藏

kejiayuan0806

oracle语句创建表的时候报错00907

问题描述：下图报错的字段为auto_increment 解决方法：oracle语句和mysql的语句点区别，oracle字段没有自增字段，所以无法这样写。

60.5890

1

3

0

关注作者

收藏

kejiayuan0806

oracle创建表显示00906错误

问题描述：在建立表的时候，字段类型如果填写varchar2的时候报错解决方法：因为varchar2类型必须在括号里面标明字段长度。例：varchar2（10）

60.5890

1

1

0

关注作者

收藏

kejiayuan0806

贡献度计算

问题描述：怎么算出个股对大盘的贡献和拖累指数?解决方法：贡献程度={（该股发行股数*价格波动）/上海证券交易所全部股票发行股数}/上证指数波动用相应的程序实现就可以啦

41.1766

1

3

0

关注作者

收藏

kejiayuan0806

缺失值处理

问题描述：缺失值处理的方法有哪些？解决方法：缺失值处理通常有如下几种方式：以特定值填充，有些NAN值具有特殊意义使用该特征的均值或中位数进行填充，适用于数值型特征使用该特征的众数进行填充，适用于分类型或离散型特征参考同类特征进行填充，如Houseprice中可以参考同处一个Neighborhood的特征的数值分布进行缺失值填充直接删除，适用于缺失值过多，且该特征方差过小的情况

0.0000

0

2

0

关注作者

收藏

<1…113114115…340>

CDA考试动态

CDA报考指南