数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

zengweiak47

data_info = pd.read_clipboard()直接从剪切板读取.map是Series特有的方法.且必须每个函数必须要有返回值#最大显示行数pd.set_option('display.max_rows', 200)# 提取所有浮点型movie.select_dtypes(include='float')

36.6480

5

5

0

关注作者

收藏

姚慧扬

pandas中的重要函数和方法

panda中的 map 是 Series 中特有的方法，通过它可以对 Series 中的每个元素实现转换。panda中的applymap 是 DataFrame 中特有的方法，通过它可以对 DataFrame 中的每个元素实现转换。rename 用来修改列名，索引名方法:df1.append(df2) 按照列索引纵向连接函数:pd.concat() 可以通过指定轴,来进行不同方向的拼接, 拼接

36.3844

4

5

0

关注作者

收藏

我是大魔王哈哈

简述一下Hive和Mysql的区别

1.查询语言不同：hive是hql语言，mysql是sql语句； 2.数据存储位置不同：hive是把数据存储在hdfs上，而mysql数据是存储在自己的系统中； 3.数据格式：hive数据格式可以用户自定义，mysql有自己的系统定义格式； 4.数据更新：hive不支持数据更新，只可以读，不可以写，而sql支持数据更新； 5.索引：hive没有索引，因此查询数据的时候是通过mapreduce很暴力

26.3330

6

3

0

关注作者

收藏

LXM21

开窗函数——over()中参数的设置

当over中没有指定分区、排序和滑动窗口，默认表中所有记录为一个分区，计算的是分区内的所有行2.当over中，指定了分区，但是没有排序和滑动窗口，默认计算的是分区内的所有行3.当over中指定了排序，但是没有指定滑动窗口，默认计算的是分区内的第一行到当前行4.当over中指定了滑动窗口，默认计算的是分区内滑动窗口范围内的行

40.5386

5

2

0

关注作者

收藏

ALEXSONG_JY

常用函数集合

-- 常用函数select abs(-32);select floor(1.54);select floor(-1.54);select ceiling(1.54);select ceiling(-1.54);select round(1.54);select round(1.54,1);-- 字符串函数select concat('CDA','数据', '分析');select concat('

35.7975

2

1

0

关注作者

收藏

132****7268

开窗函数与聚合函数的区别

开窗函数与聚合函数的区别：聚合函数是将多条记录聚合为一条；而开窗函数是每条记录都会执行，有几条记录执行完还是几条聚合函数也可以用于开窗函数中。当over中没有指定分区、排序和滑动窗口，默认表中所有记录为一个分区，计算的是分区内的所有行所有员工的平均工资：select avg(sal) as avg_sal from emp; -- 聚合函数select *,avg(sal) over() as

35.8593

3

2

0

关注作者

收藏

liting李

怎么让excel中的长数字全显示出来

如上图，怎么让excel中的长数字全显示出来，设置为文本不行。答：1、输入数字后，选中该单元格，点击鼠标右键2、点击“设置单元格格式”3、点击“自定义”并在类型中输入“0”4、点击“确定”即可

35.8782

3

0

0

关注作者

收藏

zjjwf

数据挖掘与统计的算法区别

1.统计模型法（1）计算变量的统计量，如均值、标准差、样本量等，依据这些信息就可以直接计算（一元）线性回归的系数；（2）阶矩模型中均可以利用这类信息直接运算sem等模型。（3）特点：计算速度快，无须重复运算模型。2.最小二乘法（1）多元回归中，ols可以处理多个自变量的情况，寻求残差平方和最小化；（2）将数据视为矩阵，利用线性代数寻求系数最优化，对内存要求很高；（3）大数据场景下，存在线性

24.9743

3

2

0

关注作者

收藏

zjjwf

k-NN 模型评价

1.应用广泛2.计算效率低，耗费计算资源较大3.抗噪性较弱，对噪声数据（异常值）较为敏感4.模型不稳定，可重复性较弱5.需要进行归一化处理

24.9122

2

2

0

关注作者

收藏

雯子哦呀呀

怎样使Python中表格的行全部显示出来

#最大显示行数pd.set_option('display.max_rows', 200)这里的200是行数，想让数据全部显示，就要把这个数调到大于表格的行数。

24.9743

3

3

0

关注作者

收藏

gracejpw1117

1）采用Ganglia监控器，监控到flume尝试提交的次数远远大于最终成功的次数，说明flume运行比较差。2）解决办法：（1）自身：增加内存，修改配置文件 flume-env.sh中的参数至4-6g-Xmx与-Xms最好设置一致，减少内存抖动带来的性能影响，如果设置不一致容易导致频繁full GC。（2）外援：增加服务器台数搞活动 618 ->增加服务器->用完之后再减掉日志服务器配置：8-1

70.3649

2

1

0

关注作者

收藏

gracejpw1117

关于Flume拦截器

1）拦截器注意事项项目中自定义了：ETL拦截器。采用拦截器的优缺点：优点，模块化开发和可移植性；缺点，性能会低一些2）自定义拦截器步骤（1）实现 Interceptor（2）重写四个方法Ø initialize 初始化Ø public Event intercept(Event event) 处理单个EventØ public List intercept(List

25.3511

2

2

0

关注作者

收藏

gracejpw1117

Flume的几种常见Sink

1.Logger Sink 记录INFO级别的日志，一般用于调试。必须配置的属性：属性说明： !channel – !type – The component type name, needs to be logger maxBytesToLog 16 Maximum number of byt

24.8504

1

4

0

关注作者

收藏

若水若谷

Excel ：高级筛选的步骤？

高级筛选4步曲：1. 设置条件区域和复制区域2. 选择列表区域：想要筛选的区域3. 选择条件区域：想要满足的筛选条件4. 选择复制区域：想要粘贴结果的区域

25.1982

2

2

0

关注作者

收藏

读童话的狼

分测试集和训练集，在预处理的前面还是后面

方法1：把训练集和测试集合在一起做归一化，这样特征范围就统一了。之后用训练集做训练，那测试集做测试。但很明显的，在训练模型时，不应该包括任何测试集的信息。这种做法会导致存在人为偏差的模型，不能用。方法2：对训练集单独做归一化，之后对测试集单独做归一化。这种看法看似也可以，重点在于数据量以及数据的排列顺序。在数据量大且数据被充分打乱的前提下，这种做法是可行的。但换句话说，如果有这样的前提假设，那么方

25.1982

2

4

0

关注作者

收藏

LXM21

Mysql批量插入数据

问：插入语句是不是不可用批量插入，只能一条一条写insert语句呢？答：可以一次插入多条记录，也可以从文件批量导入例如：一次插入多条：insert into dept(dname,deptno,loc) values ('accounting',10,'new york'), ('research',20,'dallas'), (30,'sales','

27.4442

4

0

0

关注作者

收藏

zengweiak47

在pandas中对数据的操作,分两种一种是生成一个副本(视图)(看是否有out输出) 缺点是有点耗费内存还有一种直接在原数据上修改(缺点不安全,但节省内存,速度快)and & 与or | 或not ~ 非

25.1982

2

1

0

关注作者

收藏

姚慧扬

数据分析方法论

树状分析方法论：1.梳理行业常用指标，选取其中一个作为总指标；2.将总指标拆解成其他指标的求和或者乘积，如果指标较少的话，可以将指标拆成不同纬度下的同一指标，逐层下拆，直至不能拆解为止。3.将指标拆解思路排列成树状结构，并增加环比或者同比值，借变化比率来快速定位问题。

25.2870

3

2

0

关注作者

收藏

姚慧扬

python之pandas的部分知识点

Pandas通常是用于数据分析过程中, 数据的清洗, 数据预处理, 数据的描述性分析等过程中.在整个Python数据分析的生态环境中, Pandas的地位非常重要, 利用Pandas可以快速便捷的对数据进行各种各样的处理与操作.Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。在Pandas中, 最重要的两种数据结构是1维的Series和

25.1982

2

5

0

关注作者

收藏

雯子哦呀呀

pandas中创建Series

Pandas通常是用于数据分析过程中, 数据的清洗, 数据预处理, 数据的描述性分析等过程中.API：应用程序编程接口Pandas可认为是Python中的excelPandas中最主要的两种数据类型是：一维的Series和二维的DataFrame一个Series中只能保存一种数据类型DataFrame是由Series构成的，所以看DataFrame由几个元素构成，就看有几个Series列表转换为D

24.8504

1

2

0

关注作者

收藏

<1…178179180…531>

CDA考试动态

CDA报考指南