分布式文件系统HDFS概念及工作机制的简单介绍

2020-07-17

HDFS 全称为Hadoop Distributed File System，是 hadoop 分布式文件系统，具体来说，是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。最主要的作用是 ...

HDFS文件系统：Zookeeper的安装宝典

2020-06-04

之前介绍了Hbase本地单节点模式的安装，该模式资源占用少适合学习使用。但是在生产环境中为了保证数据的安全，普遍采用集群模式来运用Hbase。在集群模式下Hbase的数据存储在HDFS文件系统而非本地文件系统，还需配 ...

Hadoop：分布式集群HDFS 、YARN等初次启动！

2020-06-03

上篇文章中我们通过克隆已有虚拟机并修改相应的参数配置将hadoop分布式集群搭建完成，接下来我们启动Hadoop分布式集群。 1、ssh免密登录 首先打开虚拟机软件VMware然后开启master、slave1、slave2三个虚拟机 ...

Hadoop：伪分布模式启动步骤分解及HDFS基本操作

2020-06-03

1、格式化HDFS 在运行伪分布式前，需先对NameNode进行格式化，在命令行中输入 hdfs namenode -format          # 格式化hdfs 若出现successfully formatted字 ...

Hadoop之HDFS与小文件

2017-05-24

Hadoop之HDFS与小文件 Hadoop有一个名为“HDFS”的分布式文件系统，它的设计目的是提供一个高容错，且能部署在廉价硬件的分布式系统；它的设计参照了Google的GFS（Google分布式文件系统）；它能支持高吞吐量， ...

大数据开发之深入HDFS​_数据分析师

2014-11-18

大数据开发之深入HDFS_数据分析师 当数据集的大小超过一台独立的物理计算机的存储能力时，就有必要对它进行分区(partition)并存储到若干台单独的计算机上。管理网络中跨多台计算机存储的文件系统称为分布式文件 ...

如何通俗地理解Hive的工作原理？

2023-03-23

Hive是一个基于Hadoop的数据仓库工具，可以让用户通过类SQL语言查询和分析大规模的分布式数据集。下面将介绍Hive的工作原理及其通俗易懂的解释。 首先，我们需要了解Hadoop和MapReduce的概念。Hadoop是一个开源的分 ...

大数据零基础学习

2022-11-07

虽说人生没有白走的路，新的一年来到，会的还是原来的知识，人的身价就摆在那里，无论怎么折腾，也不会拿到更好的offer。所以在年轻还有拼劲的时候多学学知识，寻找自身的不足，查漏补缺非常重要。今天小编给大家 ...

Hadoop招聘面试常见的问题和答案详解

2022-10-18

Q1.什么是 Hadoop? Hadoop 是一个开源软件框架，用于存储大量数据，并发处理/查询在具有多个商用硬件(即低成本硬件)节点的集群上的那些数据。总之，Hadoop 包括以下内容： HDFS(Hadoop Distributed File Sys ...

干货 | 你想知道的数据仓库知识，这里都有！

2020-11-19

数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、稳定的（Non-Volatile）、反映历史变化的（Time Variant）数据集合，用于支持管理决 ...

直播丨大数据引领未来 让企业的数据价值最大化

2016-12-05

丨直播简介 大数据时代，企业面临着数据爆炸式增长且多样性裂变的新常态，数据在企业和整个商业世界中发挥的作用和产生的能量都发生了质的变化。与此同时，互联网数据化运营中的用户行为路径分析与网站 ...

做大数据必须了解的多种处理框架

2016-11-28

做大数据必须了解的多种处理框架 本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是 ...

数据分析师经常遇到的13个问题

2016-10-20

数据分析师经常遇到的13个问题 1、最早的数据分析可能就报表 目前很多数据分析后的结果，展示的形式很多，有各种图形以及报表，最早的应该是简单的几条数据，然后搞个web页面，展示一下数据。早期可能数据 ...

大数据技能知多少

2016-10-20

大数据技能知多少 说起“大数据”一词，也是真正被吵够了。做个简单的统计也叫大数据，做个表格、画个图形出来，就叫大数据了。言谈间凡是不和“大数据”沾边，就感觉已经落伍了。其实，很多人除了知道简单的统 ...

大数据分析 ：利用向外扩展技术深入挖掘商业价值

2016-10-18

大数据分析 ：利用向外扩展技术深入挖掘商业价值 大数据分析技术的价值在企业领域已经非常明确。充分利用良好信息的能力一直是摆在IT部门面前的重要难题与挑战。现在我们已经拥有了足以解决这一难题的工具，接 ...

大数据分析流程

2016-10-16

大数据分析流程 这篇文章来自一个公司内部的分享，是自己所服务的业务中数据平台的发展历程，已经讲了有几个月了，最近打算挑几个点拿出来用文章的形式写出来。是自己进入公司以来参与过或者接触过的数据型项目 ...

管理大数据存储的十大技巧

2016-10-16

管理大数据存储的十大技巧 在1990年，每一台应用服务器都倾向拥有直连式系统(DAS)。SAN的构建则是为了更大的规模和更高的效率提供共享的池存储。Hadoop已经逆转了这一趋势回归DAS。每一个Hadoop集群都拥有自身 ...

大数据行业应用实时数据分析方案

2016-10-14

大数据行业应用实时数据分析方案 如今整个商业世界都面临着新的难题，即如何处理来自各客户接触点、交易以及互动对象的大量数据。但与此同时，我们也看到了解决问题的曙光——实时数据流技术，其能够存储大量数 ...

数据挖掘与数据分析梳理

2016-10-11

数据挖掘与数据分析梳理 一、数据挖掘和数据分析概述 数据挖掘和数据分析都是从数据中提取一些有价值的信息，二者有很多联系，但是二者的侧重点和实现手法有所区分。 数据挖掘和数据分析的不同之处： ...

如何让Hadoop结合R语言做统计和大数据分析

2016-10-07

如何让Hadoop结合R语言做统计和大数据分析 R是GNU的一个开源工具，具有S语言血统，擅长统计计算和统计制图。由Revolution Analytics发起的一个开源项目RHadoop将R语言与Hadoop结合在一起，很好发挥了R语言特长 ...