CDA数据分析研究院 CDA考试中心 CDA人工智能学院 企业服务 关于CDA

cda

全国校区

首页 > 行业图谱 > Hive

大数据之<font color=HiveSQL安装配置!" class="wztu">

大数据之HiveSQL安装配置!
2020-05-14
hive默认将元数据存储到本地内嵌的Derby数据库中,但是Derby不支持多会话链接,因此我们使用mysql数据库来存储hive的元数据。配置完成hiveSQL的元数据库之后再开始安装、配置hive。 1、在线安装mysql ...

Hadoop+<font color=Hive常用知识总结" class="wztu">

Hadoop+Hive常用知识总结
2017-05-24
Hadoop+Hive常用知识总结 1、什么是Hadoop?什么是hive? Hadoop:一个分布式系统基础架构,由Apache基金会开发,用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力告诉运算和存 ...

sparkSQL和spark有什么区别?

sparkSQL和spark有什么区别?
2020-05-14
Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。简而言之,sparkSQL是Spark的前身,是在Hadoop发展过程中,为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。 sparkSQL提供了一 ...

kudu是什么意思?

kudu是什么意思?
2020-05-12
Kudu是一个列式存储的用于快速分析的NoSQL数据库,提供了类似SQL的查询语句,与RDBMS十分类似,有**PRIMARY KEY **,基于主键查询而不是HBase的RowKey。 kudu拥有毫秒级延迟 与其他大数据数据库不同,Kud ...

千亿数据优化,如何绕过数据倾斜这头拦路虎?

千亿数据优化,如何绕过数据倾斜这头拦路虎?
2020-04-21
作者:dantezhao 前言: 数据倾斜是大数据领域绕不开的拦路虎,当你所需处理的数据量到达了上亿甚至是千亿条的时候,数据倾斜将是横在你面前一道巨大的坎。 迈的过去,将 ...

机器学习入门必读:6种简单实用算法及学习曲线、思维导图

机器学习入门必读:6种简单实用算法及学习曲线、思维导图
2020-03-26
作者 | 卢誉声 大部分的机器学习算法主要用来解决两类问题——分类问题和回归问题。在本文当中,我们介绍一些简单但经典实用的传统机器学习算法,让大家对机器学习算法有一个基本的感性认识。 ...

当下大数据发展的 8 个要点

当下大数据发展的 8 个要点
2019-11-04
作者 | 章剑锋 笔者从 2008 年开始工作到现在也有 11 个年头了,一路走来都在和数据打交道,做过大数据底层框架内核的开发(Hadoop,Pig,Tez,Spark,Livy),也做过上层大数据应用开发(写 MapRedu ...

一文带你完全了解,什么是数据科学

一文带你完全了解,什么是数据科学
2019-10-15
作者 | CDA数据分析师 数据科学是一个研究领域,涉及通过使用各种科学方法,算法和过程从大量数据中提取见解。它可以帮助您从原始数据中发现隐藏的模式。 由于数理统计,数据分析和大数据的发展 ...

如何通过网络数据的获取,做出这些数据分析项目?

如何通过网络数据的获取,做出这些数据分析项目?
2019-10-10
作者 | AlfredWu 来源 | Alfred数据室 最近有很多人在问,我是如何收集网络的数据,如何进行数据处理、数据分析以及可视化呈现的。 也有人问的更具体,关于Python数据分析的一些问题。到 ...

马云所说的大数据人才,月薪高达30K

马云所说的大数据人才,月薪高达30K
2019-09-27
作者 | 王新港 出品 | CDA数据分析研究院 马云曾在卸任演讲的时候说过这样一段话: “很多人还没搞清楚什么是PC互联网,移动互联网来了,我们还没搞清楚移动互联的时候,大数 ...

算法工程师应该具备哪些工程能力?

算法工程师应该具备哪些工程能力?
2019-09-16
作者 | 木东居士 来源 | Data_Engineering 最近看了 Milter 的《算法工程师究竟需要哪些工程能力》这篇文章,有所感想,因此也写一篇关于算法工程师的技术能力的问题,和大家分享一下居士关 ...

什么是数据科学?

什么是数据科学?
2019-09-10
作者 | CDA数据分析师 数据科学是一个研究领域,涉及通过使用各种科学方法,算法和过程从大量数据中提取见解。它可以帮助您从原始数据中发现隐藏的模式。 由于数理统计,数据分析和大数据的发展 ...

职业经验分享之我是如何转行成为数据分析师的

职业经验分享之我是如何转行成为数据分析师的
2019-09-04
作者 | 小尧 来源 | Datawhale 前言 我毕业于上海立信会计学院毕业的税务专业,刚刚毕业的时候还是一枚小财务,后来工作中,身为财务,需要和业务各种斗(si)智(bi)斗(da)勇(zhan ...

第十届CDA考试Level 2优秀考生访谈:如何进一步提升职场数据技能

第十届CDA考试Level 2优秀考生访谈:如何进一步提升职场数据技能
2019-08-27
第十届CDA数据分析师认证考试,在2019年6月底圆满地落下了帷幕。 之前我们采访了CDA认证考试 Level 1中的几位优秀考生,为大家分享了他们备考中的心路历程。 今天我们带来的是Level 2 大数据和建 ...

没有多年实战经验,我是如何考取谷歌云专业数据工程师认证的?

没有多年实战经验,我是如何考取谷歌云专业数据工程师认证的?
2019-06-17
作者:Daniel Bourke 谷歌云平台为构建数据处理系统提供了基础架构,掌握谷歌云的使用可以在简历上起到锦上添花的效果。那么,如何在简历上证明「我学过」呢?当然是考证啦!所谓「证多不压身」。本文作 ...

在机器学习中如何选择一个合适的算法?

在机器学习中如何选择一个合适的算法?
2019-05-08
在我们使用机器学习处理问题的时候,我们需要选择算法,选择一个好的算法能够帮助我们提高工作效率。但是很多朋友对选择算法不是很理解,在这篇文章中我们就给大家介绍一下关于机器学习选择算法的相关建议,希 ...

机器学习处理问题如何选择一个合适的算法?

机器学习处理问题如何选择一个合适的算法?
2019-03-06
我们在进行数据分析或者数据挖掘工作的时候,总会遇到很多的问题,而解决这些问题的方式有很多。如果需要我们用机器学习来处理,那么就需要我们根据算法去选择一个合适的算法。但问题是,用机器学习处理 ...

数据分析行业各个职业需要的技能是什么?

数据分析行业各个职业需要的技能是什么?
2019-02-28
就目前而言,很多人看到了数据分析行业的光明前景,于是就想进入数据分析的行业中。但是,想成为一名合格的数据分析师,需要掌握很多的技能。那么一名合格的数据分析师需要掌握哪些技能呢?其实数据分析 ...

大数据的分布式数据库技术的对比

大数据的分布式数据库技术的对比
2019-02-26
大数据技术的实现离不开很多其他的技术,我们提到最多的就是Hadoop技术,其实就目前而言,Hadoop技术看似是自成一套体系,其实并不是这样的,Hadoop和Spark以及分布式数据库其实也是存在差异的,我们就在 ...

大数据学习阶段都有哪些(三)

大数据学习阶段都有哪些(三)
2019-02-25
我们在前面的文章中给大家介绍了很多的内容,具体介绍了大数据的五个阶段,这五个阶段都是比较重要的,尤其是第五个阶段,对初步了解大数据非常有帮助。我们在这篇文章中给大家介绍一下学习大数据的第六 ...

OK