sparkSQL是什么，如何理解？

2020-08-11

一、sparkSQL简介 1.sparkSQL定义 sparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 2.sparkSQL来源 要想了解sparkSQL来源， ...

这些基本的维度表技术,你都了解吗？

2020-08-10

上一篇文章给大家分享了一些关于维度表和事实表的内容，今天给大家带来的是关于维度表技术的一些内容，希望对大家有所帮助。 一、维度表结构 1.每个维度表都包含单一的主键列。 2.维度表的主键可以 ...

Hadoop数据倾斜产生的原因是什么？如何进行处理？

2020-07-20

大数据处理时我们经常会遇到数据倾斜的问题，尤其是在数据量过大时，数据倾斜可能会导致各种各样的问题。Hadoop数据倾斜主要表现为：ruduce阶段卡在99.99%，而且是一直99.99%不能结束。 具体来说就是：mapreduc ...

数据分析认证证书，为啥成了香饽饽？百度搜不到的答案来了！

2022-04-03

2020年是特殊的一年，突如其来的疫情，阻断了全球经济高速发展的步伐，很多城市经济陷入低迷。同样，对很多人而言，2020年亦是充满机遇的一年。 古有云：时势造英雄。在遭遇重大危机时，安于现状者无法独善其身 ...

数据分析师的发展方向有哪几方面？

2020-06-30

数据分析行业大火，很多小伙伴都想转行成为数据分析师，入行容易，但重要的需要确定未来的一个发展方向，不能盲目入行。下面小编给大家分享几种数据分析师的发展方向，大家可以参考一下，首先确定好自己的目标。 ...

400多项职业资格证被取消，究竟怎样的资格证不容易被取代？

2022-04-03

为减轻各类人才和用人单位的负担，降低社会就业创业的门槛，国务院分7批取消了职业资格许可和认定事项共400多项，涉及专业技术人员职业资格154项，技能人员职业资格280项。 部分取消的名单 连国际金融 ...

从Hadoop到ClickHouse，现代BI系统有哪些问题？如何解决？

2020-06-24

导读：一次机缘巧合，在研究BI产品技术选型的时候，我接触到了ClickHouse，瞬间就被其惊人的性能所折服。这款非Hadoop生态、简单、自成一体的技术组件引起了我极大的好奇。那么ClickHouse好在哪呢?本文带你做一个 ...

CDA数据分析师的考核能力的标准是什么

2020-06-22

CDA(Certified Data Analyst)，亦称“CDA数据分析师”，指在互联网、零售、金融、电信、医疗、旅游等行业专门从事数据的采集、清洗、处理、分析并能制作业务报告、提供决策的新型数据分析人才。“CDA数据分析师认 ...

sparkSQL和spark有什么区别？

2020-05-14

Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。简而言之，sparkSQL是Spark的前身，是在Hadoop发展过程中，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。 sparkSQL提供了一 ...

kudu是什么意思？

2020-05-12

Kudu是一个列式存储的用于快速分析的NoSQL数据库，提供了类似SQL的查询语句，与RDBMS十分类似，有**PRIMARY KEY **，基于主键查询而不是HBase的RowKey。 kudu拥有毫秒级延迟 与其他大数据数据库不同，Kud ...

千亿数据优化，如何绕过数据倾斜这头拦路虎？

2020-04-21

作者：dantezhao 前言： 数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。 迈的过去，将 ...

机器学习入门必读：6种简单实用算法及学习曲线、思维导图

2020-03-26

作者 | 卢誉声 大部分的机器学习算法主要用来解决两类问题——分类问题和回归问题。在本文当中，我们介绍一些简单但经典实用的传统机器学习算法，让大家对机器学习算法有一个基本的感性认识。 ...

当下大数据发展的 8 个要点

2019-11-04

作者 | 章剑锋 笔者从 2008 年开始工作到现在也有 11 个年头了，一路走来都在和数据打交道，做过大数据底层框架内核的开发（Hadoop，Pig，Tez，Spark，Livy），也做过上层大数据应用开发（写 MapRedu ...

一文带你完全了解，什么是数据科学

2019-10-15

作者 | CDA数据分析师 数据科学是一个研究领域，涉及通过使用各种科学方法，算法和过程从大量数据中提取见解。它可以帮助您从原始数据中发现隐藏的模式。 由于数理统计，数据分析和大数据的发展 ...

如何通过网络数据的获取，做出这些数据分析项目？

2019-10-10

作者 | AlfredWu 来源 | Alfred数据室 最近有很多人在问，我是如何收集网络的数据，如何进行数据处理、数据分析以及可视化呈现的。 也有人问的更具体，关于Python数据分析的一些问题。到 ...

算法工程师应该具备哪些工程能力？

2019-09-16

作者 | 木东居士 来源 | Data_Engineering 最近看了 Milter 的《算法工程师究竟需要哪些工程能力》这篇文章，有所感想，因此也写一篇关于算法工程师的技术能力的问题，和大家分享一下居士关 ...

什么是数据科学？

2019-09-10

作者 | CDA数据分析师 数据科学是一个研究领域，涉及通过使用各种科学方法，算法和过程从大量数据中提取见解。它可以帮助您从原始数据中发现隐藏的模式。 由于数理统计，数据分析和大数据的发展 ...

职业经验分享之我是如何转行成为数据分析师的

2019-09-04

作者 | 小尧 来源 | Datawhale 前言 我毕业于上海立信会计学院毕业的税务专业，刚刚毕业的时候还是一枚小财务，后来工作中，身为财务，需要和业务各种斗（si）智（bi）斗（da）勇（zhan ...

第十届CDA考试Level 2优秀考生访谈：如何进一步提升职场数据技能

2019-08-27

之前我们采访了CDA认证考试 Level 1中的几位优秀考生，为大家分享了他们备考中的心路历程。 下面让我们来一睹他们的风采吧！ LEVEL Ⅱ 大数据分析师 王幸 希望今后能继续在大数据行业做些有趣、有 ...

在机器学习中如何选择一个合适的算法？

2019-05-08

在我们使用机器学习处理问题的时候，我们需要选择算法，选择一个好的算法能够帮助我们提高工作效率。但是很多朋友对选择算法不是很理解，在这篇文章中我们就给大家介绍一下关于机器学习选择算法的相关建议，希 ...