NameNode无法启动是什么原因？应该怎样解决？

2020-07-16

NameNode无法启动这个问题，困扰着很多小伙伴，今天小编就来给大家分析一下NameNode无法启动的原因以及解决办法，希望对大家有所帮助。 如果NameNode无法正常启动，建议大家首先去翻看日志，通过日志，查找到无 ...

分布式集群参数master节点：DataNode、NameNode等相关配置

2020-06-03

之前的文章中我们已经将master节点的网络IP、hostname文件、hosts文件配置完成，接下来还有hadoop相关配置文件需要修改。今天我们来讲master节点hadoop的配置。 1、hdfs-site.xml 在hadoop的配置文件中与HDF ...

NameNode和Datanode分别是什么？

2020-05-12

HDFS集群有两类节点，并以管理者-工作者模式运行，即一个NameNode（管理者）和多个DataNode（工作者）。 NameNode是Master节点，有点类似Linux里的根目录，是管理文件系统的命名空间。管理数据块映射 ...

如何使用Hadoop处理大数据？

2023-08-25

在当今数字化时代，大数据已经成为企业和组织面临的一项重要挑战。处理大规模数据集需要强大的计算和存储能力，并且需要高效的处理方式。Hadoop是一个广泛使用的开源工具，可以帮助我们处理和管理大数据。本文将介绍 ...

震惊！用Python探索《红楼梦》的人物关系

2022-08-09

文 | 周萝卜 来源：Python 技术「ID: pythonall」 相信很多人都知道，《红楼梦》就是中国古典小说的巅峰之作，太多人沉迷其中，而红学也经久不衰。当然今天我们不是 ...

Hadoop集群搭建

2017-05-21

Hadoop集群搭建 目的 本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。 如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。 先决 ...

使用Hadoop处理大数据，你需要了解它的优点和缺点

2016-06-23

使用Hadoop处理大数据，你需要了解它的优点和缺点 由于从各光伏电站采集的数据量较大，必须解决海量数据的查询、分析的问题。目前主要考虑两种方式： 1. Hadoop大数据技术； 2. Oracle（数据仓库）+BI； ...

揭秘中兴大数据在银行领域的系统部署

2016-01-14

揭秘中兴大数据在银行领域的系统部署 本文首度揭秘了中兴通讯的大数据平台系统DAP在国内Z银行的部署过程。 大数据是一个开放的平台，当前大部分系统是基于互联网公司的开源的产品而生，银行业是不能完全照 ...

分布式文件系统HDFS概念及工作机制的简单介绍

2020-07-17

HDFS 全称为Hadoop Distributed File System，是 hadoop 分布式文件系统，具体来说，是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。最主要的作用是 ...

Hadoop：伪分布模式环境变量的配置

2020-06-05

单节点集群模式（a Single Node Cluster）又称伪分布模式，只需一个节点即可运行。这种模式一般只是用来学习或者开发、测试使用。实际使用中还是使用多节点的分布式。 1、环境变量配置 为了方便的执行Hadoop ...

Hadoop：分布式集群HDFS 、YARN等初次启动！

2020-06-03

上篇文章中我们通过克隆已有虚拟机并修改相应的参数配置将hadoop分布式集群搭建完成，接下来我们启动Hadoop分布式集群。 1、ssh免密登录 首先打开虚拟机软件VMware然后开启master、slave1、slave2三个虚拟机 ...

Hadoop：伪分布模式启动步骤分解及HDFS基本操作

2020-06-03

1、格式化HDFS 在运行伪分布式前，需先对NameNode进行格式化，在命令行中输入 hdfs namenode -format          # 格式化hdfs 若出现successfully formatted字 ...

大数据时代的数据分析浅析

2018-02-10

大数据时代的数据分析浅析 近些年，由于以社交网站、基于位置的服务LBS 等为代表的新型信息产生方式的涌现，以及云计算、移动和物联网技术的迅猛发展，无处不在的移动、无线传感器等设备无时不刻都在产生数据， ...

这些技术可能会阻碍你在大数据征程上的步伐

2017-11-14

这些技术可能会阻碍你在大数据征程上的步伐 那些技术升级或更换至关重要，这关系到大数据项目获得成功，还是你在今后几年通过行动让大家原谅你的过失。下面是你应该开始考虑更换掉的大数据架构中的一些要素。 ...

Hadoop常见错误和处理方式

2017-05-28

Hadoop常见错误和处理方式   常见问题及处理 mysql版本，必须是MYSQL5.1。 查询办法mysqladmin version 在建立hive数据库的时候，最好是:create database hive; oozie的数据库，同样：create ...

Hadoop之HDFS与小文件

2017-05-24

Hadoop之HDFS与小文件 Hadoop有一个名为“HDFS”的分布式文件系统，它的设计目的是提供一个高容错，且能部署在廉价硬件的分布式系统；它的设计参照了Google的GFS（Google分布式文件系统）；它能支持高吞吐量， ...

0基础搭建Hadoop大数据处理-初识

2017-05-21

0基础搭建Hadoop大数据处理-初识 在互联网的世界中数据都是以TB、PB的数量级来增加的，特别是像BAT光每天的日志文件一个盘都不够，更何况是还要基于这些数据进行分析挖掘，更甚者还要实时进行数据分析，学习， ...

2016年终盘点大数据篇：跨越巅峰，迈向成熟

2017-02-19

2016年终盘点大数据篇：跨越巅峰，迈向成熟 大数据技术在2016年继续取得高速的发展，并且在大数据相关的每个细分的环节，都有不同的创新的点。让我们来看看这一年，大数据技术的一些重要进展和趋势。 大数据 ...

小试牛刀 | 大数据技术简单面试题，看看你能答对多少?

2016-05-27

摘要：大数据的趋势已逐步从概念走向落地，而在IT人跟随大数据浪潮的转型中，各大企业对大数据高端人才的需求也越来越紧迫。这一趋势，也给想要从事大数据方面工作的人员提供了难得的职业机遇。 ...

大数据平台基准测试助力大数据产品选型

2015-10-23

大数据平台基准测试助力大数据产品选型 进入2015年，大数据产品和服务采购进入爆发期，新的大数据技术解决了企业海量数据（历史数据、非结构化数据）的存储、分析和查询等问题，逐步开始替代传统的数据 ...