2分钟读懂Hadoop和Spark的异同

2016-03-06

2分钟读懂Hadoop和Spark的异同 谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么 ...

美国大数据工程师面试攻略有哪些

2016-02-26

美国大数据工程师面试攻略有哪些 在多年工作中，除了对技术的不懈追求，也积累了大量的面试经验，从国内的一线互联网公司百度、阿里巴巴、奇虎、人人，到美国一线公司Facebook、Google、Linkedin、Twitter、Ama ...

大数据工具比较-R语言和Spark谁更强

2016-02-20

大数据工具比较-R语言和Spark谁更强 现如今的大数据工具真是多，在数据分析师工作中，使用哪些工具更加合适呢，r语言和Spark机器学习那个中有市场率更高些，那个在运算中更快更强些呢？ Spark的机器学习库 ...

sparkSQL是什么，如何理解？

2020-08-11

一、sparkSQL简介 1.sparkSQL定义 sparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 2.sparkSQL来源 要想了解sparkSQL来源， ...

量化研究如何“知其然知其所以然，知其然知其何以用”

2020-07-22

说量化研究难， “知其然知其所以然，知其然知其何以用” 7月25-27日三天 经管之家学术研讨会 特邀请量化研究大师和当红社会定量分析名师王存同教授 带我们从线性回归走向因果推断！ 因果推 ...

2020年因果推断专题讨论会从线性回归走向因果推断

2020-06-23

因果推断(causalinference)，缘起人类的本能或经常自发提出的一个简单问题：为什么(why)?事实上，作为科学研究的核心与宗旨——因果推断就是关于此问题的严肃思考、科学验证或因果分析(causal analysis)。目前，因 ...

加快python算法的四个方法：Dask篇

2020-06-08

CDA数据分析师 出品 相信大家在做一些算法经常会被庞大的数据量所造成的超多计算量需要的时间而折磨的痛苦不已，接下来我们围绕四个方法来帮助大家加快一下python的计算时间，减少大家在算法上的等待 ...

sparkSQL和spark有什么区别？

2020-05-14

Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。简而言之，sparkSQL是Spark的前身，是在Hadoop发展过程中，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。 sparkSQL提供了一 ...

RDD是什么？关于它的前世今生！

2020-05-13

rdd，英文全称为：Resilient Distributed Dataset，中文简称“弹性分布式数据集”，spark中最基础的抽象数据结构。 RDD具备分区、不可变、并行操作这三个基本特性，表现形式为不可变的分区元素的集合，并且可以在集 ...

第十届CDA考试Level 2优秀考生访谈：如何进一步提升职场数据技能

2019-08-27

第十届CDA数据分析师认证考试，在2019年6月底圆满地落下了帷幕。 之前我们采访了CDA认证考试 Level 1中的几位优秀考生，为大家分享了他们备考中的心路历程。 今天我们带来的是Level 2 大数据和建 ...

大数据的分布式数据库技术的对比

2019-02-26

大数据技术的实现离不开很多其他的技术，我们提到最多的就是Hadoop技术，其实就目前而言，Hadoop技术看似是自成一套体系，其实并不是这样的，Hadoop和Spark以及分布式数据库其实也是存在差异的，我们就在 ...

Hadoop常见问题解答

2018-07-23

Hadoop常见问题解答 （1）Hadoop适不适用于电子政务？为什么？ 电子政务是利用互联网技术实现政府组织结构和工作流程的重组优化，建成一个精简、高效、廉洁、公平的政府运作信息服务平台。因此电子政务 ...

Spark一种快速数据分析替代方案

2018-07-20

Spark一种快速数据分析替代方案 Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存 ...

【Stata培训】Stata实用计量方法_黄河泉老师亲授

2020-10-26

Stata实用计量方法_18小时在线学习 我们以介绍当代实用计量方法为主，Stata 操作为辅，而以发表 (C)SSCI 论文为目标。让您可以复制成功发表的经验。 以多年发表 SSCI学术文章之实战功力与经验传承，特别 ...

大数据分析，主要有哪些核心技术

2018-04-19

大数据分析，主要有哪些核心技术 目前，大数据领域每年都会涌现出大量新的技术，成为大数据获取、存储、处理分析或可视化的有效手段。大数据技术能够将大规模数据中隐藏的信息和知识挖掘出来，为人类社会经济活 ...

常用的几种大数据架构剖析

2018-04-16

常用的几种大数据架构剖析 数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来 ...

Stata寒假研讨班_2018年1月@北京_开始抢座啦

2018-01-03

STATA强大的统计与计量分析功能、精致的绘图、简单易行的窗口操作、简练便捷的编程、强大的MATA矩阵运算、丰富的网络资源等功能使其成为世界上用户最多的软件之一，被高度评价为“数据分析的操作系统”,可以实现诸 ...

利用spark做文本分类（朴素贝叶斯模型）

2017-12-10

利用spark做文本分类（朴素贝叶斯模型） 朴素贝叶斯模型 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基 ...

建立数据场的七大技能

2017-10-12

建立数据场的七大技能 成为数据极客，建立自己的数据场需要哪些技能呢?遇到普通的数据，通过SQL做分析。如果数据量比较大，可以使用Hadoop等大数据框架处理。在深入挖掘上，可用Python或者R语言进行编程。 0 ...

做大数据必须了解的多种处理框架

2017-10-01

做大数据必须了解的多种处理框架 本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指 ...