1、多节点集群架构设计
后续介绍的Hadoop多节点集群由三台计算机构成:一台主节点为master，两台从节点为slave1、slave2。
master节点上主要运行namenode、Resourcemanager 进程；slave节点上运行datanode、nodemanager进程。
由于大家一般只有一台计算机，因此我们使用虚拟机软件VMware workstation虚拟出三台计算机来分别运行master、slave1、slave2节点。因为是虚拟出的集群，所以跟实际的进群还是有差距的，不会体会到真正的并行计算与并行存储的优势。实际工作中整个集群会有十几个甚至上百个节点，可以批量处理以T为单位的数据。然而他们配置方法是大致相同的，运行过程也是一致的，区别只是在运行速度和存储数据量上会体现出来。
为了简化安装过程，我们将在之前的伪分布集群基础上通过修改配置文件等操作来创建master节点。
2、复制伪分布集群节点
首先需要复制之前安装配置过伪分布集群的虚拟机。具体操作步骤如下：
1）启动VMware Workstation，选择 虚拟机->管理->克隆
单击下一步继续
克隆自 选择虚拟机中的当前状态，然后单击下一步
克隆方法选择创建完整克隆
虚拟机名称设置为master，虚拟机位置根据电脑情况，请自定义。最后单击完成按钮完成克隆配置。
耐心等待，克隆过程时间长短取决于电脑磁盘读写性能。
出现如下图标表示克隆完成，单击关闭按钮结束克隆过程。
此时VMware自动弹出克隆后的虚拟机控制窗口。
3、虚拟机参数设置
用于分布式集群的虚拟机既要可以连接互联网又要可以连接其他虚拟机，在VMware软件中网卡类型选择NAT模式即可完成集群外部、内部通讯。如果是在virtualbox中则配置NAT网卡之外还需配置仅主机模式网卡一张，NAT与外部通讯，仅主机模式网卡用于集群内部通讯。
参照下图双击网络适配器
双击
网络连接选择NAT模式，内存建议2G，其他配置默认即可。
复制好master虚拟机之后还需对其进行多项配置，主要有hostname、配置固定IP，修改hadoop配置文件等，这些内容将在下篇介绍。
数据分析咨询请扫描二维码
若不方便扫码，搜微信号：CDAshujufenxi
CDA数据分析师 出品 作者：李诗怡 一、数据分析四大思维 1. 对比思维：没有对比就没有分析 核心观点：单独一个数字没有意义，有 ...
2026-10-05Kimball 是方法，星型模型是它产出的形状。 很多人把"Kimball vs 星型模型"当成一道选择题——这本身就是个误会：Kimball 是动词 ...
2026-10-05写在开头 老板在微信上甩来一句： "帮我看下为什么销量跌了。" ” 你回工位，打开 SQL，开始写。查订单表、拉近三个月、按 ...
2026-10-03CDA数据分析师 出品 作者：李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时，PySpark的groupBy()确实能完成统计，这也是它的本职工作。但它有一个根本性局限：每一组数据，最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表，结合地理空间维度与数据密度特征，通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图，画过按天的流量折线图，但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”，在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司，工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中，数据往往不是独立存在的，不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读：大多数人只把 dataclasses 当成偷懒工具，用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系，但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中，行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中，千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者：李诗怡 1. 5W1H 分析法 定义：经典系统性思维框架，通过六个核心维度对问题进行全方位拆解与剖析，确 ...
2026-09-28 很多分析师在设计标签时思路清晰，但真到落地环节却面临“数据在手，不知如何转化为可用标签”的困境：或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者：李诗怡 1. 用户标签体系 定义： 通过一系列高度精炼的特征标识，对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库，广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展，数据已成为核心生产要素，各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道，但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时，却常常答不上来。 ...
2026-09-24在时序数据分析中，大部分业务数据并非持续平稳变化，而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象， ...
2026-09-23在统计学与数据分析中，研究多组数据差异最常用的方法为单因素方差分析与事后多重比较。很多数据分析初学者容易混淆两者功能，认 ...
2026-09-23
京公网安备 11010802034615号
经营许可证编号：京B2-20210330
