
难度系数:
课程系列:Level Ⅱ
周期:8周
WHAT 课程简介
WHY 学习目标
WHO 学习对象和基础
高速公路收费站各站点每日收费额情况图 ...
案例介绍 将所有数据导入到 mysql 中,同时 hive 中,并编写 spark 程序, 统计出每天的交易额,并输出到 mysql 中,hive 中的数据, 编写 spark 程序,使用漏斗模型统计分析出某日数据增加的原因。 技能涉及 每天的数据为单位,将每天收费的环比增长率作为因变量,每个入口环比增长率为自变量,根据六个月的数据,建立多元线性回归模型,算出每个入口的贡献率(使用 hadoop+mysql+hive+spark+sqoop+tableau 完成)Ubuntu使用Mysql创建表
案例介绍 根据给定文档在MySQL创建3个表并执行查询 技能涉及 1. 查看配置 show variable; 2.查看目前处理的列表; show processlist; 3.看看有哪些存储过程 show procedure status; 4.查看一条命令的执行方案 explain select * fromt t_your_tabe;大数据交通案例
案例介绍 高速公路ETC交易数据,数据采集时间段为201X年一个季度的数据 技能涉及 1.所有的数据都导入到大数据平台上,使用hive进行数据的分布式存储 2.使用spark程序统计出每天的交易金额 3.分析每天交易金额的变化 4.综合考虑入口、出口、车型等综合因素,编写spark程序,使用漏斗模型统计分析出某日数据增加的原因 5.以每天的数据为单位,将每天收费的环比增长率作为因变量,每个入口环比增长率为自变量,根据三个月的数据,建立多元线性回归模型,算出每个入口的贡献率,为高速公路管理方出入口开放提供决策依据。查看集群状态
案例介绍 集群运行中查看集群状态及集群信息 技能涉及 1 检查集群、节点、索引的健康情况 2 管理集群、节点,索引数据、元数据 3 执行CRUD,创建、读取、更新、删除 以及 查询 4 执行高级的查询操作,比如分页、排序、脚本、聚合等CDA数据分析研究院讲师/系统架构师
Java高级软件工程师、Java高级培训讲师、认证高级讲师、系统架构师、SUN中国社区会员、JAVA技术专家。精通JAVA、JAVA EE6体系结构;精 通Java企业级中间件技术设计、构建以及应用部署。CDA数据分析研究院资深讲师
CDA数据科学研究院大数据、python课程讲师,CDA命题委员会成员。曾经就职于IBM,有丰富的运维工作和大数据平台搭建经验。目前担任CDA大数据课程以及数据分析课程讲师,主要负责大数据平台搭建,利用机器学习对数据做清洗与分析的工作。擅长将机器学习,自动化运维与分析技术。CDA数据分析研究院讲师/北京邮电大学管理科学与工程硕士
现就职于北京电信规划设计院,从事移动、联通集团及各省分公司市场、业务、财务规划、经济评价及运营咨询。重点研究方向包括离网用户挖掘、市场细分与精准营销、移动网络价值区域分析、潜在价值客户挖掘等。几乎所有行业
都稀缺独当一面的CDA数据分析师®人才
GROWN
开启数据科学家成长之路
商业(业务)分析师初级数据分析师
(数据)产品运营(数字)市场营销
数据专员...
数据分析师(数据)产品运营经理
(数字)营销经理风控建模分析师
量化策略分析师数据治理(质量)...
高级数据分析师机器学习工程师
算法工程师数据科学家
首席数据官...
EXAM
CDA认证报考开放化
VALUE
CDA证书的价值
RIGHTS
CDA持证人的权益
吸纳为CDA Institute、CDA数据分析师俱乐部会员,活动中具有优先报名参与权
可优先获得CDA内部就业及职业发展推荐
免费参与CDAS行业峰会等各项活动,CDA持证人享受特权位置
有机会加入CDA数据分析教学、研发等项目
免费享有AIU人工智能学院1个月黄金会员,内含国外前沿数据科学学习等海量资源
经管之家论坛学习资源、优秀文献资料免费下载权
Q:课程使用的大数据软件版本是如何的?
A:大数据软件使用版本如下: centos 7.2、hadoop-2.6.0、hive-1.1.0、sqoop-1.4.6、hbase-1.2.0、spark-2.3.0、zookeeper-3.4.5、Anconda5.2.0及以上、Oracle VM VirtualBox6 或者VMwareQ:课程的计算机内存要求和开发工具推荐?
A:学习大数据课程计算机内存推荐为 16G (享受飞驰的感觉),至少8G。CPU推荐四核八线程的、硬盘可用空 间100G。关于内存是考虑了spark对内存的需求较大,大数据其他组件内存需求会低一些。Q:大数据分析师和JAVA程序员有什么区别?
A:Hadoop架构基于java程序设计,因此大批的IT人士在大数据时代找到了自己的职业锚,而且最快的进入了这个行业,成为了最先的大数据分析师。但IT人士的宿命就在于他们太IT了,他们热衷于计算更快、处理更高效的程序设计,而忽略了大数据分析的本意,为企业带来商业价值,因此他们只能是大数据分析工程师,而正真的大数据分析师应当了解和熟悉hadoop技术架构和算法设计,但不必成为一个优秀的JAVA程序员。Q:大数据分析师区别于普通的数据分析师?
A:普通的数据分析师具有一定的数理统计基础,熟悉业务逻辑,能熟练地操作传统的数据分析软件,能使数据成为企业的智慧。他们通常遇到的都是一些结构化、体量小的小数据。而大数据分析师更专注数据获取的架构设计、数据分析模型的选择、指标的选取,他们具有数据分析师的理论素养和业务能力,面对大数据,他们有一整套分布式的数据获取、整理、处理和分析的方案,而且这个方案最终的目标是为数据分析服务,他们具有大数据分析的利器,如Hadoop、Spark等软件。Q:参加课可以考取的考取的证书有哪些?
A:参加《CDA大数据分析师》证书每年6月和12月考试,通过者即可获得;培训后申请工信部《数据分析师》证书。Q: 学员课下如何与老师进行互动?
A:CDA大数据分析师课程每期都会建立QQ群和微信群,工作日有老师和助教负责答疑;同时学员可以在讨论区以帖子的形式向老师提问,老师会在工作日的48小时内回复。