大数据-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

bowan.

简单的业务数据分析报告整体流程

分析报告：从数据中发现经营问题，且数据分析师需要主导分析内容，输出业务问题发现。分析过程可能遇到问题：由于数据维度的丰富性，使用第一类分析需求思路往往会卡在第二步，如果每个维度都尝试下探非常耗时。突破思维：这时可以考虑从总体指标入手，逐层分解总体指标，形成下钻式树结构。分析思路如下：（1）梳理行业内经常谈及的指标；（2）将指标拆解为另外两个指标的和或乘积（或同一指标不同维度），逐层下钻，

16.5017

1

4

0

关注作者

收藏

大魔王泛泛

Hive中分区和分桶的区别

分区：是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹，比如我们要收集某个大型网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表的内容巨大，在查询时进行全表扫描耗费的资源非常多。其实这个情况下，我们可以按照日期对数据表进行分区，不同日期的数据存放在不同的分区，在查询时只要指定分区字段的值就可以直接从该分区查找，这样就大大提升

0.0183

3

2

0

关注作者

收藏

大魔王泛泛

hive 内部表和外部表区别

创建表时：创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。删除表时：在删除表的时候，内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。

16.5198

3

5

0

关注作者

收藏

clbe2x2

数据分析常用分析维度

1.对比分析 | 从时间、空间、标准等维度进行对比明确同比、环比、定基比的概念。同比是指本月第一周和上个月第一周进行对比；环比是指本周和上周进行对比；定基比是指所有数据同今年第一周进行对比。2.细分分析逐步分析：比如把某个市进一步拆解为区。维度交叉分析：比如分析付费SEM的新访客获取渠道和用户所在区域。3.漏斗分析分析是否出现不必要的过程，造成转化主进程受到伤害。是否有泄漏点，通过分

16.5295

4

4

0

关注作者

收藏

bowan.

中国古人的《大数据时代》

大数据时代就像中国古人的“经验主义”。《大数据时代》一书指出大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这样就会想到古人多年总结经验得到的规律，二十四节气，十五的月亮圆，神农尝百草，中医发展......无不通过多年的尝试，收集数据，通过分析，得到结论，这些何尝不是在构建一种大数据，只是时代的背景不一样，所采用的方法不一

56.8459

6

1

0

关注作者

收藏

大魔王泛泛

为什么需要开启metastore服务？

执行 hive --service metastore 开启metastore服务有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据元数据包含用Hive创建的database、table等的元信息

8.7847

4

4

0

关注作者

收藏

陈革007

Python: 推荐学习

廖雪峰 https://www.liaoxuefeng.com/wiki/1016959663602400菜鸟教程 https://www.runoob.com/python/python-tutorial.htmlcsdn https://www.csdn.net/掘金 https://juejin.im/ 代码库 https://github.com/

8.9191

7

2

0

关注作者

收藏

大魔王泛泛

File does not exist: hdfs:// 192.168.199. 134 : 9000/ spark/history

出现这个报错的原因是因为我们在HDFS上没有创建 spark/history文件夹执行命令 hdfs dfs -mkdir -p /spark/history之后重新运行程序即可

8.7068

1

3

0

关注作者

收藏

shang9252

Jupyter Nbextensions插件功能大全（五）

Nbextensions简介Nbextensions软件包是Jupyter非官方扩展包的集合，可以为Jupyter提供很多实用的功能。这些扩展包大部分为Javascript编写，在运行Jupyter浏览器时被本地加载。nbextensions插件说明Notify : 增加在Jupyter内核空闲时的通知提示功能(适合运行很耗时的情况)Printview : 在工具栏中增加将当前noteb

8.7068

1

2

0

关注作者

收藏

shang9252

Jupyter Nbextensions插件功能大全（四）

Nbextensions简介Nbextensions软件包是Jupyter非官方扩展包的集合，可以为Jupyter提供很多实用的功能。这些扩展包大部分为Javascript编写，在运行Jupyter浏览器时被本地加载。nbextensions插件说明insort formatter : 排序代码单元中导入的包(需要安装isort包)jupyter-js-widgets/extension

8.7068

1

1

0

关注作者

收藏

shang9252

Jupyter Nbextensions插件功能大全（三）

Nbextensions简介Nbextensions软件包是Jupyter非官方扩展包的集合，可以为Jupyter提供很多实用的功能。这些扩展包大部分为Javascript编写，在运行Jupyter浏览器时被本地加载。nbextensions插件说明Freeze : 提供单元格锁定、只读相关功能Gist-it : 一键发布Github的gist功能Help panel : 在工具栏中增

8.7068

1

2

0

关注作者

收藏

shang9252

Jupyter Nbextensions插件功能大全（二）

Nbextensions简介Nbextensions软件包是Jupyter非官方扩展包的集合，可以为Jupyter提供很多实用的功能。这些扩展包大部分为Javascript编写，在运行Jupyter浏览器时被本地加载。nbextensions插件说明Collapsible Headings : 存储markdown标题的折叠情况(在下一次打开的时候重新加载这点状态)Comment/Unc

8.7068

1

2

0

关注作者

收藏

shang9252

Jupyter Nbextensions插件功能大全（一）

Nbextensions简介Nbextensions软件包是Jupyter非官方扩展包的集合，可以为Jupyter提供很多实用的功能。这些扩展包大部分为Javascript编写，在运行Jupyter浏览器时被本地加载。nbextensions插件说明1、(some) LaTeX environments for Jupyter : 支持更多的Latex元素2、2to3 Converter

8.7068

1

1

0

关注作者

收藏

大魔王泛泛

数据仓库Hive和数据库Mysql的区别

1.查询语言不同：hive是hql语言，mysql是sql语句；2.数据存储位置不同：hive是把数据存储在hdfs上，而mysql数据是存储在自己的系统中；3.数据格式：hive数据格式可以用户自定义，mysql有自己的系统定义格式；4.数据更新：hive不支持数据更新，只可以读，不可以写，而sql支持数据更新；5.索引：hive没有索引，因此查询数据的时候是通过mapreduce很暴力

14.8267

4

3

0

关注作者

收藏

bowan.

好的数据分析报告的要点注意

首先，要有一个好的框架，跟盖房子一样，好的分析肯定是有基础有层次，有基础坚实，并且层次明了才能让阅读者一目了然，架构清晰、主次分明才能让别人容易读懂，这样才让人有读下去的欲望;第二，每个分析都有结论，而且结论一定要明确，如果没有明确的结论那分析就不叫分析了，也失去了他本身的意义，因为你本来就是要去寻找或者印证一个结论才会去做分析的，所以千万不要忘本舍果;第三，分析结论不要太多要精，如果可以的话

30.4614

8

1

0

关注作者

收藏

李名奎

大数据背景下的常用数据统计方法,了解后更有利于后期数据建模的学习和理解.

描述性统计是指运用制表和分类，图形以及计筠概括性数据来描述数据的集中趋势、离散趋势、偏度、峰度。缺失值填充：常用方法：剔除法、均值法、最小邻居法、比率回归法、决策树法。正态性检验：很多统计方法都要求数值服从或近似服从正态分布，所以之前需要进行正态性检验。常用方法：非参数检验的K-量检验、P-P图、Q-Q图、W检验、动差法。

13.8479

4

1

0

关注作者

收藏

bowan.

数据分析与大数据分析

传统数据分析与大数据分析的三方面异同：第一，在分析方法上，两者并没有本质不同。数据分析的核心工作是人对数据指标的分析、思考和解读，人脑所能承载的数据量是极其有限的。所以，无论是“传统数据分析”，还是“大数据分析”，均需要将原始数据按照分析思路进行统计处理，得到概要性的统计结果供人分析。两者在这个过程中是类似的，区别只是原始数据量大小所导致处理方式的不同。第二，在对统计学知识的

13.8487

4

2

0

关注作者

收藏

大魔王泛泛

敏捷项目管理的意义在于什么

敏捷项目管理的意义在于：1.能使组织得以对需求的增加、变化或消除施加更多影响2.能改进企业与客户之间的交流版，也为企业所有者提供支持，帮助他们获取并审查重要信息，用于做出正确决策，引导项目在开发流程中的权发展方向 3.可帮助从业者在敏捷原则、实践、工具和技能等方面拥有的知识和技能

43.9108

5

3

0

关注作者

收藏

颜夕小妞

线性回归建模的流程

步骤一：明确需求明确因变量Y步骤二：数据清洗缺失值处理异常值处理：三倍标准差以外的数值分类变量步骤三：相关性分析探索所有自变量与因变量的相关性，得出相关系数，并画出散点图步骤四：分割测试集训练集20%的数据作为测试集80%的数据作为训练集步骤五：回归F检验T检验R^2：一元线性回归，看R^2：多元线性回归，看调整R^2步骤六：模型调优残差服从正态分布含义：残差服从

34.4522

7

2

0

关注作者

收藏

大魔王泛泛

hive报错 Failed command:insert into table address values

这是因为没有配置事务支持，在Hive中只有配置了事务支持才可以执行insertHive是用来做数仓的，基本上不执行事务处理

33.7742

2

3

0

关注作者

收藏

<1…161718…75>

CDA考试动态

CDA报考指南