sparkSQL是什么，如何理解？

2020-08-11

一、sparkSQL简介 1.sparkSQL定义 sparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 2.sparkSQL来源 要想了解sparkSQL来源， ...

spark入门必读：核心概念介绍及常用RDD操作

2020-07-13

作者：肖冠宇 来源：大数据DT(ID：hzdashuju) 内容摘编自《企业大数据处理：Spark、Druid、Flume与Kafka应用实践》 导读：Spark是由加州大学伯克利分校AMP实验室开源的分布式大规模数据处理通用引擎，具 ...

spark集群：环境搭建之Scala安装指南

2020-06-02

今天，我们一起安装、配置spark集群环境，方便后期继续学习研究。spark项目是由scala语言编写的，因此需提前配置Scala环境才能运行Spark程序。 1、Scala版本选择与下载 我们安装spark2.1.2版本与之对应的环 ...

sparkSQL和spark有什么区别？

2020-05-14

Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。简而言之，sparkSQL是Spark的前身，是在Hadoop发展过程中，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。 sparkSQL提供了一 ...

spark机器学习-聚类

2018-04-05

spark机器学习-聚类 聚类算法是一种无监督学习任务，用于将对象分到具有高度相似性的聚类中，聚类算法的思想简单的说就是物以类聚的思想，相同性质的点在空间中表现的较为紧密和接近，主要用于数据探索与异常 ...

利用spark做文本分类（朴素贝叶斯模型）

2017-12-10

利用spark做文本分类（朴素贝叶斯模型） 朴素贝叶斯模型 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基 ...

大数据零基础学习

2022-11-07

虽说人生没有白走的路，新的一年来到，会的还是原来的知识，人的身价就摆在那里，无论怎么折腾，也不会拿到更好的offer。所以在年轻还有拼劲的时候多学学知识，寻找自身的不足，查漏补缺非常重要。今天小编给大家 ...

在线大数据分析培训机构-CDA大数据分析集训营

2022-09-16

在线大数据分析培训机构-课程简介 CDA大数据分析集训营：随着电子信息、物联网、互联网等产业的高速发展，智能手机、平板电脑、可穿戴设备与物联网设备已经渗入到现代生产生活的方方面面，每时每刻都产生着 ...

数据分析师的种类有哪些

2022-09-13

接下来给大家聊下互联网数据分析师的类型以及未来潜在的发展路径。 要聊数据分析师，首先得从数据开始，了解互联网公司的数据流程，可以参照下方的这个流程图，通过流程我们可以识别数据分析师的种类。 数 ...

基于六度分隔理论、PageRank等的人工风控特征提取框架

2022-04-25

作者：小伍哥 来源：小伍哥聊风控 关于图的风控应用，之前的很多文章都是基于算法的，今天分享一篇基于图进行人工特征提取的欺诈检测文章，这样大部分人都能应用上了，其中的特征提取方法和思想，值得我 ...

了解雇主对2020年数据科学家职位的期望

2022-03-30

作者Shareef Shaik，有抱负的数据科学家 最近，我积极地开始找工作，转到数据科学，我没有任何正式的教育，如硕士或博士。AI/机器学习背景。我开始学习它完全是出于我自己的兴趣（不仅仅是因为炒作）。这是 ...

我是如何在下岗2个月后获得4份数据科学工作机会并收入翻倍的

2022-03-14

在这个前所未有的流行病时期，许多人发现他们的职业生涯受到了影响。这其中包括一些我曾经工作过的最有才华的数据科学家。在与一些亲密的朋友分享了我帮助他们在下岗后找到新工作的个人经历后，我认为 ...

作为文科生，我是如何转行数据挖掘工程师的 | 附电信用户实战案例

2022-02-23

随着大数据的时代的来临，各个行业都受到了数据分析不同程度的影响和作用。尤其是在电信行业，数据分析已经逐渐成为电信运营商的战略优势之一。 大家好，我是一名CDA持证人，今天想跟大家分享一下，我如何 ...

作为文科生，我是如何转行数据挖掘工程师的 | CDA持证人分享

2022-01-19

大家好，今天跟大家带来一个分享，主题是关于我如何从文科生转行为数据挖掘工程师的。 第一部分讲一下我作为文科生转行数据挖掘的历程； 第二部分是关于目前从事数据挖掘，主要针对商业数据挖 ...

数据分析师经常遇到的13个问题

2016-10-20

数据分析师经常遇到的13个问题 1、最早的数据分析可能就报表 目前很多数据分析后的结果，展示的形式很多，有各种图形以及报表，最早的应该是简单的几条数据，然后搞个web页面，展示一下数据。早期可能数据 ...

【哔哩哔哩】招聘数据分析师

2016-10-19

【哔哩哔哩】招聘数据分析师 bilibili现为国内最大的年轻人潮流文化娱乐社区，该网站于2009年6月26日创建，又称“B站“。 bilibili网站最大的特色是悬浮于视频上方的实时评论功能，爱好者称其为“弹幕”，这种独特的 ...

大数据分析流程

2016-10-16

大数据分析流程 这篇文章来自一个公司内部的分享，是自己所服务的业务中数据平台的发展历程，已经讲了有几个月了，最近打算挑几个点拿出来用文章的形式写出来。是自己进入公司以来参与过或者接触过的数据型项目 ...

【湖南神州祥网科技有限公司】招聘数据分析师

2016-08-25

【湖南神州祥网科技有限公司】招聘数据分析师 湖南神州祥网科技有限公司创建于2010年4月,总部在长沙,并设立北京与南京两个研发基地。公司与中国科学院紧密合作，依托其强大力量与核心技术，拥有四十多位计算机与网络 ...

【北京人大金仓信息技术股份有限公司】招聘数据分析师

2016-08-07

【北京人大金仓信息技术股份有限公司】招聘数据分析师 人大金仓信息技术股份有限公司（简称：人大金仓）是中国自主研发数据库产品和数据管理解决方案的领导企业，由中国人民大学及一批最早在国内开展数据库教学、研 ...

【上海瀚正信息科技股份有限公司】招聘数据分析师

2016-07-20

【上海瀚正信息科技股份有限公司】招聘数据分析师 公司具有雄厚的技术资源和市场资源，集软件产品研发、技术服务、产品销售为一体；可为用户提供先进的、具有独立知识产权的软硬件系列产品、行业完整解决方案和专业 ...