cda

数字化人才认证

首页 > 行业图谱 >

使用Hadoop处理大数据,你需要了解它的优点和缺点
2016-06-23
使用Hadoop处理大数据,你需要了解它的优点和缺点 由于从各光伏电站采集的数据量较大,必须解决海量数据的查询、分析的问题。目前主要考虑两种方式: 1. Hadoop大数据技术; 2. Oracle(数据仓库)+BI; ...

实现R与 Hadoop 联合作业的三种方法

实现R与Hadoop联合作业的三种方法
2016-06-07
实现R与Hadoop联合作业的三种方法 为了满足用R语言处理pb量级数据的需求,我们需要把它和Hadoop联合起来使用。本文的目的就是阐述实现二者联合作业的不同技术。 方法一:利用Streaming APIs Hadoop支持一 ...

O2O需要的不是 Hadoop  而是大数据

O2O需要的不是Hadoop 而是大数据
2016-05-25
O2O需要的不是Hadoop 而是大数据 如题,但希望网友不要误解,这里的需要是指大数据技术在目前的发展进程中,是不会阻碍到O2O的应用,而对于O2O来说,最难的莫过于数据的来源。这想必也是众多掘金电商、O2O的厂 ...

 Hadoop 技术全解析 深度挖掘大数据背后的秘密

Hadoop技术全解析 深度挖掘大数据背后的秘密
2016-04-10
Hadoop技术全解析 深度挖掘大数据背后的秘密 大数据最近火热程度上升,而与之相关联的概念Hadoop也在被网友讨论?Hadoop到底是什么,它的技术基础是什么,主要用来干什么了呢?下面我们将详细探讨。 ...
Hadoop在大数据处理时的优劣势分析
2016-04-09
Hadoop在大数据处理时的优劣势分析 在近两年,大数据分析似乎很受欢迎,但即使如此,仍有不少企业发现,现有的数据挖掘和分析技术还是不能完美胜任大数据的处理任务。 而对于这个问题,一个可能的解决方案就 ...

中国 Hadoop 峰会_CDA专场论坛回顾!

中国Hadoop峰会_CDA专场论坛回顾!
2021-08-05
3月18日至3月19日,中国Hadoop大数据峰会在北京盛大开幕。CDA数据分析师深度参与此次峰会,为各位参与者带来了丰富干货分享,话不多说,回顾下现场氛围(文末有有PPT资料可下载) 在此次峰会的大数据行业应用分 ...

 Hadoop 数据操作系统YARN全解析其它

Hadoop数据操作系统YARN全解析其它
2016-03-08
Hadoop数据操作系统YARN全解析其它 为了能够对集群中的资源进行统一管理和调度,Hadoop 2.0引入了数据操作系统YARN。YARN的引入,大大提高了集群的资源利用率,并降低了集群管理成本。首先,YARN允许多个应用程 ...

2分钟读懂 Hadoop 和Spark的异同

2分钟读懂Hadoop和Spark的异同
2016-03-06
2分钟读懂Hadoop和Spark的异同 谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么 ...

 Hadoop 之父Doug Cutting眼中大数据技术的未来

Hadoop之父Doug Cutting眼中大数据技术的未来
2016-02-20
Hadoop之父Doug Cutting眼中大数据技术的未来 2016,Hadoop走过第十个年头。Hadoop之父Doug Cutting1985年毕业于美国斯坦福大学,早期的他并不是一开始就决心投身IT行业的。他如何成为Hadoop之父?Hadoop的发展 ...

数据仓库之门向 Hadoop 开启

数据仓库之门向Hadoop开启
2015-12-27
数据仓库之门向Hadoop开启 在大数据时代,Hadoop分布式处理架构为IT、数据管理以及数据分析团队带来了新生机的同时,也带来了新的挑战。随着Hadoop生态系统的不断发展壮大,企业需要对快速更新换代的技术做 ...

 Hadoop 数据倾斜产生的原因是什么?如何进行处理?

Hadoop数据倾斜产生的原因是什么?如何进行处理?
2020-07-20
大数据处理时我们经常会遇到数据倾斜的问题,尤其是在数据量过大时,数据倾斜可能会导致各种各样的问题。Hadoop数据倾斜主要表现为:ruduce阶段卡在99.99%,而且是一直99.99%不能结束。 具体来说就是:mapreduc ...

 Hadoop 是什么意思,有哪些作用?

Hadoop是什么意思,有哪些作用?
2020-07-07
Hadoop是一种分析和处理大数据的软件平台,是Appach的一个用Java语言所实现的开源软件的加框,可编写和运行分布式应用处理大规模数据,是专为离线和大规模数据分析而设计的,对那种对几个记录随机读写的在线事务处 ...

从 Hadoop 到ClickHouse,现代BI系统有哪些问题?如何解决?

Hadoop到ClickHouse,现代BI系统有哪些问题?如何解决?
2020-06-24
导读:一次机缘巧合,在研究BI产品技术选型的时候,我接触到了ClickHouse,瞬间就被其惊人的性能所折服。这款非Hadoop生态、简单、自成一体的技术组件引起了我极大的好奇。那么ClickHouse好在哪呢?本文带你做一个 ...

 Hadoop :伪分布模式环境变量的配置

Hadoop:伪分布模式环境变量的配置
2020-06-05
单节点集群模式(a Single Node Cluster)又称伪分布模式,只需一个节点即可运行。这种模式一般只是用来学习或者开发、测试使用。实际使用中还是使用多节点的分布式。 1、环境变量配置 为了方便的执行Hadoop ...

 Hadoop :伪分布模式参数配置指南

Hadoop:伪分布模式参数配置指南
2020-06-04
Hadoop通过改变其配置文件来更改运行模式,我们通过修改如下四个配置文件core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml即可让Hadoop以伪分布模式运行。 Hadoop的配置文件是 xml 格式,每个配 ...

 Hadoop :集群网络介绍,及相关文件配置指南

Hadoop:集群网络介绍,及相关文件配置指南
2020-06-05
上篇文章中我们已经将之前配置好的伪分布集群虚拟机复制出来做为master节点的虚拟机,接下来我们还需对该虚拟机做进一步的配置来达到我们的要求。对master虚拟机的配置将从网络、hostname、更改Hadoop相关配置等几 ...

 Hadoop :分布式集群HDFS 、YARN等初次启动!

Hadoop:分布式集群HDFS 、YARN等初次启动!
2020-06-03
上篇文章中我们通过克隆已有虚拟机并修改相应的参数配置将hadoop分布式集群搭建完成,接下来我们启动Hadoop分布式集群。 1、ssh免密登录 首先打开虚拟机软件VMware然后开启master、slave1、slave2三个虚拟机 ...

 Hadoop :伪分布模式启动步骤分解及HDFS基本操作

Hadoop:伪分布模式启动步骤分解及HDFS基本操作
2020-06-03
1、格式化HDFS 在运行伪分布式前,需先对NameNode进行格式化,在命令行中输入 hdfs namenode -format          # 格式化hdfs 若出现successfully formatted字 ...

大数据: Hadoop 多节点集群搭建指南

大数据:Hadoop多节点集群搭建指南
2020-06-04
1、多节点集群架构设计 后续介绍的Hadoop多节点集群由三台计算机构成:一台主节点为master,两台从节点为slave1、slave2。 master节点上主要运行namenode、Resourcemanager 进程;slave节点上运行datanode、 ...

 Hadoop 相关:学习工具JDK,在线安装指南

Hadoop相关:学习工具JDK,在线安装指南
2020-06-01
hadoop是使用Java语言开发的并且Hadoop运行需要有Java环境的支持,因此在安装hadoop之前需要安装Java开发环境即JDK(Java Development Kit)。安装前首先向大家介绍以一下本文会用到的几个词: JAVA_HOME: 一 ...

OK