大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

大魔王泛泛

spark. read. option( "inferSchema"，"false" )

图中划红线的部分代表什么意思 option( "inferSchema"，"false" ) inferSchema 表示是否支持从数据中自动推导出schema，false表示的是不会自动推导出schema

14.7447

2

2

0

关注作者

收藏

bowan.

理解总结了一下mysql的开窗函数

MYSQL 开窗函数1.作用：对每一行都显示函数结果，并且可以调节计算的行数范围开窗函数和普通聚合函数的区别：（1）聚合函数是将多条记录聚合为一条；而开窗函数是每条记录都会执行，有几条记录执行完还是几条。（2）聚合函数也可以用于开窗函数中。2.基本语法：（相当于5个参数，函数，over() 这两个必须写，后面三个在over()里，看情况添加）select xx,开窗函数 over(

14.7974

5

2

0

关注作者

收藏

bowan.

mysql开窗函数

开窗函数：它可以理解为记录集合，开窗函数也就是在满足某种条件的记录集合上执行的特殊函数。对于每条记录都要在此窗口内执行函数，有的函数随着记录不同，窗口大小都是固定的，这种属于静态窗口；有的函数则相反，不同的记录对应着不同的窗口，这种动态变化的窗口叫滑动窗口。开窗函数的本质还是聚合运算，只不过它更具灵活性，它对数据的每一行，都使用与该行相关的行进行计算并返回计算结果。开窗函数和普通聚合函数

18.1882

5

1

0

关注作者

收藏

xmd11

MySQL中无GROUP BY情况下直接使用HAVING语句的问题探究

https://www.jb51.net/article/66992.htm

0.0001

1

5

0

关注作者

收藏

xr虽虽

数据分析方法论思维导图

数据分析方法论日常取数方法论步骤01-确认数据范围02-确认分析维度03-输出数据指标业务问题发现帕累托法则二八法则：80%原因由20%问题造成。用于找出核心问题帕累托法则图柱形与折线的组合图柱形图以降序排列，中间无空隙，起点为0折线图起点为0%，且有次坐标轴，第二个点在第一个柱子右上角，100%在整

0.0001

1

2

0

关注作者

收藏

xr虽虽

吭哧了3天的分析报告

21数据分析5月畅销车.docx(172KB)吭哧了好几天的报告，希望大家给我提意见让我在打开一下思路

27.2209

2

1

0

关注作者

收藏

shang9252

1\导入numpy库并简写为 np import numpy as np 2\打印numpy的版本和配置说明 print(np.__version__) print(np.show_config()) 3\创建一个长度为10的空向量 z = np.zeros(10) 4\如何找到任何一个数组的内存大小？(提示: size, itemsize) itemsize返回字节

0.0132

2

0

0

关注作者

收藏

bowan.

mysql报错：Error Code: 1175

当我使用MySQL 执行更新或删除操作时，mysql 报了这样一个错误： Error Code: 1175. You are using safe update mode and you tried to update a table without a WHERE that uses a KEY column. To disable safe mode, toggle the option

27.2654

3

3

0

关注作者

收藏

大魔王泛泛

Hive的特点及其应用场景

特点：1. 简单容易上手：提供了类SQL查询语言HQL2. 可扩展：为超大数据集设计了计算/扩展能力（MR作为计算引擎，HDFS作为存储系统）一般情况下不需要重启服务Hive可以自由的扩展集群的规模3. 提供统一的元数据管理4. 延展性：Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数5. 容错：良好的容错性，节点出现问题SQL仍可完成执行应用场景：1. 日志分析

0.0344

2

0

0

关注作者

收藏

大魔王泛泛

简述一下Hive中的外部表

外部表的表数据由HDFS管理，Hive管理外部表元数据，表数据保存在HDFS上，该位置由用户指定删除表时，只会删除表的元数据，所以外部表不是由Hive完全管理的

0.0344

2

0

0

关注作者

收藏

大魔王泛泛

进入hive显示拒绝连接是什么原因

如图所示：进入hive显示拒绝连接是因为没有开启HDFS，因为hive是要访问HDFS上的数据的执行start-dfs.sh然后再进入hive 即可成功

27.2551

3

3

0

关注作者

收藏

bowan.

成为大数据分析师你需要？

成为大数据分析师的条件硬性条件：数据分析师角色/任务：收集，处理和执行统计数据分析必备语言：java、R、Python、HTML、Javscript、C/C 、SQL等技能和特长：电子表格工具(例如Excel)，数据库系统(SQL和基于NOSQL)，通信可视化，数学，统计，计算机，机器学习等软性条件：懂业务：从事数据分析工作的前提就会需要懂业务，即熟悉行业知识、公司业务及流程，最好有

27.1780

4

3

0

关注作者

收藏

大魔王泛泛

HBase中用put命令成功插入数据，为什么返回的信息是 0 rows？

如图所示：问：我用put的时候为啥返回的信息是 0 rows？数据的确成功插入了，那不应该是1 rows吗答：HBase中用put命令插入数据成功时是不会返回插入成功的行数的，返回的 0 row（s）只是代表插入数据时没有报错

27.1307

2

1

0

关注作者

收藏

大魔王泛泛

启动HDFS时不成功

1. 执行命令 ip addr 查看本机ip地址2. 执行 sudo vi/etc/hosts 编辑最后一行把ip替换为本机ip地址3. 重启HDFS即可

0.0001

1

3

0

关注作者

收藏

clbe2x2

帮助你提高学习专注度——专注白噪音

会不会因为周围环境的嘈杂无法集中注意力，带上耳机听音乐又被音乐声所吸引？试试看专注白噪音吧，音频为20~20000赫兹的白噪音能够帮助你过滤掉周围其他环境噪音，稳定平和的声音带你进入一个专注的世界。歌名：Sunrise Comes to the Jungle Nature；White Noise: Standing Fan；White Noise: Standing Fan；White Nois

16.7107

3

1

0

关注作者

收藏

clbe2x2

数据分析师分析流程

数据分析的流程，简单来说分为以下六个步骤：明确分析的目的，提出问题。只有弄清楚了分析的目的是什么，才能准确定位分析因子，提出有价值的问题，提供清晰的指引方向。数据采集。收集原始数据，数据来源可能是丰富多样的，一般有数据库、互联网、市场调查等。具体办法可以通过加入“埋点”代码，或者使用第三方的数据统计工具。数据处理。对收集到的原始数据进行数据加工，主要包括数据清洗、数据分组、数据检索、数据抽取

16.5251

2

3

0

关注作者

收藏

Kevin66832

书写客观报告之前的思维整理

1、梳理行业内的常见指标 2、将指标拆解成另外两个指标的和或积/同一指标的不同维度逐层下钻，直至无法分解。 3、将指标按拆解思路排成树状结构，增加环比/同比，观察变化率定位问题。

16.5193

2

3

0

关注作者

收藏

bowan.

简单的业务数据分析报告整体流程

分析报告：从数据中发现经营问题，且数据分析师需要主导分析内容，输出业务问题发现。分析过程可能遇到问题：由于数据维度的丰富性，使用第一类分析需求思路往往会卡在第二步，如果每个维度都尝试下探非常耗时。突破思维：这时可以考虑从总体指标入手，逐层分解总体指标，形成下钻式树结构。分析思路如下：（1）梳理行业内经常谈及的指标；（2）将指标拆解为另外两个指标的和或乘积（或同一指标不同维度），逐层下钻，

16.5017

1

4

0

关注作者

收藏

大魔王泛泛

Hive中分区和分桶的区别

分区：是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹，比如我们要收集某个大型网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表的内容巨大，在查询时进行全表扫描耗费的资源非常多。其实这个情况下，我们可以按照日期对数据表进行分区，不同日期的数据存放在不同的分区，在查询时只要指定分区字段的值就可以直接从该分区查找，这样就大大提升

0.0183

3

2

0

关注作者

收藏

大魔王泛泛

hive 内部表和外部表区别

创建表时：创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。删除表时：在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。

16.5198

3

5

0

关注作者

收藏

<1…151617…75>

CDA考试动态

CDA报考指南