sparkSQL是什么，如何理解？

2020-08-11

一、sparkSQL简介 1.sparkSQL定义 sparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 2.sparkSQL来源 要想了解sparkSQL来源， ...

spark入门必读：核心概念介绍及常用RDD操作

2020-07-13

作者：肖冠宇 来源：大数据DT(ID：hzdashuju) 内容摘编自《企业大数据处理：Spark、Druid、Flume与Kafka应用实践》 导读：Spark是由加州大学伯克利分校AMP实验室开源的分布式大规模数据处理通用引擎，具 ...

spark集群：环境搭建之Scala安装指南

2020-06-02

今天，我们一起安装、配置spark集群环境，方便后期继续学习研究。spark项目是由scala语言编写的，因此需提前配置Scala环境才能运行Spark程序。 1、Scala版本选择与下载 我们安装spark2.1.2版本与之对应的环 ...

sparkSQL和spark有什么区别？

2020-05-14

Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。简而言之，sparkSQL是Spark的前身，是在Hadoop发展过程中，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。 sparkSQL提供了一 ...

spark机器学习-聚类

2018-04-05

spark机器学习-聚类 聚类算法是一种无监督学习任务，用于将对象分到具有高度相似性的聚类中，聚类算法的思想简单的说就是物以类聚的思想，相同性质的点在空间中表现的较为紧密和接近，主要用于数据探索与异常 ...

利用spark做文本分类（朴素贝叶斯模型）

2017-12-10

利用spark做文本分类（朴素贝叶斯模型） 朴素贝叶斯模型 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基 ...

​CDA标准课程迭代更新

2023-11-08

2023年10月 CDA 标准课程更新 (v7.1.0)    重大更新： ●新开caie人工智能技术大课（LLM方向） 其他课程更新： ●脱产班和周末班的业务分析部分更新以下案例： 1）违约用户特征分析案例 2）优衣库区域 ...

【重磅】CDA标准课程迭代更新

2023-12-06

2023年10月 CDA 标准课程更新 (v7.1.0) 重大更新： 新开caie人工智能技术大课（LLM方向） 其他课程更新： 脱产班和周末班的业务分析部分更新以下案例： 1）违约用户特征分析案例 2）优衣库区域销售分析案例 3）客 ...

大数据零基础学习

2022-11-07

虽说人生没有白走的路，新的一年来到，会的还是原来的知识，人的身价就摆在那里，无论怎么折腾，也不会拿到更好的offer。所以在年轻还有拼劲的时候多学学知识，寻找自身的不足，查漏补缺非常重要。今天小编给大家 ...

在线大数据分析培训机构-CDA大数据分析集训营

2022-09-16

在线大数据分析培训机构-课程简介 CDA大数据分析集训营：随着电子信息、物联网、互联网等产业的高速发展，智能手机、平板电脑、可穿戴设备与物联网设备已经渗入到现代生产生活的方方面面，每时每刻都产生着 ...

数据分析师的种类有哪些

2022-09-13

接下来给大家聊下互联网数据分析师的类型以及未来潜在的发展路径。 要聊数据分析师，首先得从数据开始，了解互联网公司的数据流程，可以参照下方的这个流程图，通过流程我们可以识别数据分析师的种类。 数 ...

基于六度分隔理论、PageRank等的人工风控特征提取框架

2022-04-25

作者：小伍哥 来源：小伍哥聊风控 关于图的风控应用，之前的很多文章都是基于算法的，今天分享一篇基于图进行人工特征提取的欺诈检测文章，这样大部分人都能应用上了，其中的特征提取方法和思想，值得我 ...

了解雇主对2020年数据科学家职位的期望

2022-03-30

作者Shareef Shaik，有抱负的数据科学家 最近，我积极地开始找工作，转到数据科学，我没有任何正式的教育，如硕士或博士。AI/机器学习背景。我开始学习它完全是出于我自己的兴趣（不仅仅是因为炒作）。这是 ...

我是如何在下岗2个月后获得4份数据科学工作机会并收入翻倍的

2022-03-14

在这个前所未有的流行病时期，许多人发现他们的职业生涯受到了影响。这其中包括一些我曾经工作过的最有才华的数据科学家。在与一些亲密的朋友分享了我帮助他们在下岗后找到新工作的个人经历后，我认为 ...

作为文科生，我是如何转行数据挖掘工程师的 | 附电信用户实战案例

2022-02-23

随着大数据的时代的来临，各个行业都受到了数据分析不同程度的影响和作用。尤其是在电信行业，数据分析已经逐渐成为电信运营商的战略优势之一。 大家好，我是一名CDA持证人，今天想跟大家分享一下，我如何 ...

作为文科生，我是如何转行数据挖掘工程师的 | CDA持证人分享

2023-10-19

大家好，今天跟大家带来一个分享，主题是关于我如何从文科生转行为数据挖掘工程师的。 第一部分讲一下我作为文科生转行数据挖掘的历程； 第二部分是关于目前从事数据挖掘，主要针对商业数据挖 ...

大数据是什么？怎么学？这里有答案

2018-08-27

大数据是什么？怎么学？这里有答案 首先给大家介绍什么叫大数据，大数据最早是在2006年谷歌提出来的，百度给他的定义为巨量数据集合，辅相成在今天大数据技术随着互联网的发展，更加迅速的成长，小到个人，企业 ...

基于大数据的用户标签体系建设思路和应用

2018-08-19

基于大数据的用户标签体系建设思路和应用 在大数据时代，数据在呈现出海量化、多样化和价值化变化的同时，也改变了传统IT行业的市场竞争环境、营销策略和服务模式。 如何在ZB级的海量数据中获取并筛选有价值 ...

用机器学习检测异常点击流

2018-08-18

用机器学习检测异常点击流 本文内容是我学习ML时做的一个练手项目，描述应用机器学习的一般步骤。该项目的目标是从点击流数据中找出恶意用户的请求。点击流数据长下图这样子，包括请求时间、IP、平台等特征： ...

基于spark的机器学习经验

2018-07-19

基于Spark的机器学习经验 如何基于spark做机器学习 Spark发展到1.5版本，算是全平台了，实时批计算，批处理，算法库，SQL，hadoop能做的，基本他都能做，而且做的比Hadoop好。 当然，这里我要提及的是，S ...