登录
首页精彩阅读NameNode和Datanode分别是什么?
NameNode和Datanode分别是什么?
2020-05-12
收藏



HDFS集群有两类节点,并以管理者-工作者模式运行,即一个NameNode(管理者)和多个DataNode(工作者)。


NameNode是Master节点,有点类似Linux里的根目录,是管理文件系统的命名空间。管理数据块映射;处理客户端的读写请求;配置副本策略;管理HDFS的名称空间。而DataNode则负责存储client发来的数据块block;执行数据块的读写操作,是NameNode的小弟。

NameNode详解

作用:

Namenode起一个统领的作用,用户通过namenode来实现对其他数据的访问和操作,类似于root根目录的感觉。

Namenode包含:目录与数据块之间的关系(靠fsimage和edits来实现),数据块和节点之间的关系

fsimage文件与edits文件是Namenode结点上的核心文件。

DataNode详解

DataNode在HDFS中真正存储数据,首先解释块(block)的概念:

DataNode在存储数据的时候是按照block为单位读写数据的。block是hdfs读写数据的基本单位。


假设文件大小是100GB,从字节位置0开始,每128MB字节划分为一个block,依此类推,可以划分出很多的block。每个block就是128MB大小。block本质上是一个 逻辑概念,意味着block里面不会真正的存储数据,只是划分文件的。block里也会存副本,副本优点是安全,缺点是占空间。

看了这篇文章,有没有对Namenode和DataNode有更多的认识了。

数据分析咨询请扫描二维码

客服在线
立即咨询