大数据分析：学习工具Hadoop，基本安装指导

2020-06-01

Hadoop版本主要分为原生Apache Hadoop版和Hadoop商业发行版两种，而其中商业发行版Hadoop多为原生Apache Hadoop的集群模式下的优化版，除少数社区版外，商业发行版大多需要付费使用，且对于初学者而言使用难度较大 ...

shuffle在Spark及Hadoop中的作用大吗？

2020-05-13

shuffle是一个能产生奇迹的地方，不管是在 Spark 还是 Hadoop 中，它们的作用都是至关重要的。 在Spark中，一般在执行reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操作时 ...

Hadoop常见问题解答

2018-07-23

Hadoop常见问题解答 （1）Hadoop适不适用于电子政务？为什么？ 电子政务是利用互联网技术实现政府组织结构和工作流程的重组优化，建成一个精简、高效、廉洁、公平的政府运作信息服务平台。因此电子政务 ...

常见的七种Hadoop和Spark项目案例

2018-06-28

常见的七种Hadoop和Spark项目案例 如果你的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。 有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创 ...

Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别

2017-12-19

Hadoop生态上几个技术的关系与区别：hive、pig、hbase 关系与区别 Pig 一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开 ...

嫌弃Hadoop？可能是你的打开方式有问题

2017-08-14

关于 Hadoop 所谓的消亡，以及它跌落神坛的报道数不胜数。有很多人放马后炮说，Hadoop 从一开始就没有意义。还有人说“Hadoop 对于小型，临时的工作来说很慢”、“ Hadoop 很难”、“ Hadoop 已经死了 ...

除了Hadoop，其他6个你必须知道的热门大数据技术

2017-06-13

你知道新的市场领导者和曾经的领导者之间的关键区别是什么吗? 那就是“数据管理”。任何无法处理数据并将其投入使用的企业，很可能会让位给那些能够更好处理数据的。 事实上，大数据和其流动性的力量能促使企业发 ...

Hadoop常见错误和处理方式

2017-05-28

Hadoop常见错误和处理方式   常见问题及处理 mysql版本，必须是MYSQL5.1。 查询办法mysqladmin version 在建立hive数据库的时候，最好是:create database hive; oozie的数据库，同样：create ...

Hadoop之HDFS与小文件

2017-05-24

Hadoop之HDFS与小文件 Hadoop有一个名为“HDFS”的分布式文件系统，它的设计目的是提供一个高容错，且能部署在廉价硬件的分布式系统；它的设计参照了Google的GFS（Google分布式文件系统）；它能支持高吞吐量， ...

Hadoop+Hive常用知识总结

2017-05-24

Hadoop+Hive常用知识总结 1、什么是Hadoop？什么是hive？ Hadoop：一个分布式系统基础架构，由Apache基金会开发，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力告诉运算和存 ...

0基础搭建Hadoop大数据处理-环境

2017-05-21

0基础搭建Hadoop大数据处理-环境 由于Hadoop需要运行在Linux环境中，而且是分布式的，因此个人学习只能装虚拟机，本文都以VMware Workstation为准，安装CentOS7，具体的安装此处不作过多介绍，只作需要用到的知 ...

0基础搭建Hadoop大数据处理-初识

2017-05-21

0基础搭建Hadoop大数据处理-初识 在互联网的世界中数据都是以TB、PB的数量级来增加的，特别是像BAT光每天的日志文件一个盘都不够，更何况是还要基于这些数据进行分析挖掘，更甚者还要实时进行数据分析，学习， ...

Hadoop-HBASE案例分析-Hadoop学习笔记

2017-01-12

Hadoop-HBASE案例分析-Hadoop学习笔记 主要介绍HBase，一个分布式数据库的应用案例。 案例概况： 1）时间序列数据库(OpenTSDB)  用HBase储存时间序列数据，每时每刻都在解决，数据库 ...

SAS集成Hadoop途径几何

2016-07-15

SAS集成Hadoop途径几何 经常有人问，SAS如何和HADOOP交互、集成?在回答这个问题前，主要看HADOOP在SAS系统中的定位，有下面定位考虑： 1.把HADOOP作为传统数据源供SAS访问 这是最简单的一种应用场景，就 ...

八大行业Hadoop大数据应用回顾和展望

2016-05-30

八大行业Hadoop大数据应用回顾和展望 任何新技术的发展都会经历一个从被公众了解到最终普遍应用的过程。大数据技术作为一个新兴的数据处理技术，经过了近十年的发展，刚刚开始在各个行业得到应用。但从媒体和 ...

中国Hadoop峰会_CDA专场论坛回顾！

2021-08-05

3月18日至3月19日，中国Hadoop大数据峰会在北京盛大开幕。CDA数据分析师深度参与此次峰会，为各位参与者带来了丰富干货分享，话不多说，回顾下现场氛围（文末有有PPT资料可下载） 在此次峰会的大数据行业应用分 ...

别再比较Hadoop和Spark了，那不是设计人员的初衷

2016-03-11

对Hadoop与Spark孰优孰劣这个问题，最准确的观点就是，设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。 直接比较Hadoop和Spark有难度，因为它们处理的许多任务都一样，但是在一些方面又并不相互重叠。 比 ...

Hadoop十年，CDA在China Hadoop Summit 2016 北京站等你！

2022-01-20

China Hadoop Summit（中国Hadoop技术峰会）是亚太地区举办最早、规模最大、影响力最大的盛会。2008年诞生于国内最早的Hadoop讨论组， 2009年正式举办第一届大会，到2016年北京站已经是第八届。 这一届， ...

Hadoop与海量GIS数据的结合

2016-02-19

Hadoop与海量GIS数据的结合   关于GIS和Esri   我们每天都在提出这样一些问题：农田中的土壤有哪些特征？下一个服装店应该开在什么地方？货物如何才能最快的送到客户手中？如何找到离我的新家最近的 ...

国内外的Hadoop应用现状

2016-01-21

文 | 翟周伟 本文节选自《Hadoop核心技术》一书。 Hadoop是一个开源的高效云计算基础架构平台，其不仅仅在云计算领域用途广泛，还可以支撑搜索引擎服务，作为搜索引擎底层的基础架构系统，同时在 ...