1、多节点集群架构设计
后续介绍的Hadoop多节点集群由三台计算机构成:一台主节点为master，两台从节点为slave1、slave2。
master节点上主要运行namenode、Resourcemanager 进程；slave节点上运行datanode、nodemanager进程。
由于大家一般只有一台计算机，因此我们使用虚拟机软件VMware workstation虚拟出三台计算机来分别运行master、slave1、slave2节点。因为是虚拟出的集群，所以跟实际的进群还是有差距的，不会体会到真正的并行计算与并行存储的优势。实际工作中整个集群会有十几个甚至上百个节点，可以批量处理以T为单位的数据。然而他们配置方法是大致相同的，运行过程也是一致的，区别只是在运行速度和存储数据量上会体现出来。
为了简化安装过程，我们将在之前的伪分布集群基础上通过修改配置文件等操作来创建master节点。
2、复制伪分布集群节点
首先需要复制之前安装配置过伪分布集群的虚拟机。具体操作步骤如下：
1）启动VMware Workstation，选择 虚拟机->管理->克隆
单击下一步继续
克隆自 选择虚拟机中的当前状态，然后单击下一步
克隆方法选择创建完整克隆
虚拟机名称设置为master，虚拟机位置根据电脑情况，请自定义。最后单击完成按钮完成克隆配置。
耐心等待，克隆过程时间长短取决于电脑磁盘读写性能。
出现如下图标表示克隆完成，单击关闭按钮结束克隆过程。
此时VMware自动弹出克隆后的虚拟机控制窗口。
3、虚拟机参数设置
用于分布式集群的虚拟机既要可以连接互联网又要可以连接其他虚拟机，在VMware软件中网卡类型选择NAT模式即可完成集群外部、内部通讯。如果是在virtualbox中则配置NAT网卡之外还需配置仅主机模式网卡一张，NAT与外部通讯，仅主机模式网卡用于集群内部通讯。
参照下图双击网络适配器
双击
网络连接选择NAT模式，内存建议2G，其他配置默认即可。
复制好master虚拟机之后还需对其进行多项配置，主要有hostname、配置固定IP，修改hadoop配置文件等，这些内容将在下篇介绍。
数据分析咨询请扫描二维码
若不方便扫码，搜微信号：CDAshujufenxi
Pandas 选取特定值所在行：6 类核心方法与实战指南 在使用 pandas 处理结构化数据时，“选取特定值所在的行” 是最高频的操作之 ...
2025-09-30球面卷积神经网络（SCNN） 为解决这一痛点，球面卷积神经网络（Spherical Convolutional Neural Network, SCNN） 应运而生。它通 ...
2025-09-30在企业日常运营中，“未来会怎样” 是决策者最关心的问题 —— 电商平台想知道 “下月销量能否达标”，金融机构想预判 “下周股 ...
2025-09-30Excel 能做聚类分析吗？基础方法、进阶技巧与场景边界 在数据分析领域，聚类分析是 “无监督学习” 的核心技术 —— 无需预设分 ...
2025-09-29XGBoost 决策树：原理、优化与工业级实战指南 在机器学习领域，决策树因 “可解释性强、处理非线性关系能力突出” 成为基础模型 ...
2025-09-29在标签体系的落地链路中，“设计标签逻辑” 只是第一步，真正让标签从 “纸上定义” 变为 “业务可用资产” 的关键，在于标签加 ...
2025-09-29在使用 Excel 数据透视表进行多维度数据汇总时，折叠功能是梳理数据层级的核心工具 —— 通过点击 “+/-” 符号可展开明细数据或 ...
2025-09-28在使用 Pandas 处理 CSV、TSV 等文本文件时，“引号” 是最容易引发格式混乱的 “隐形杀手”—— 比如字段中包含逗号（如 “北京 ...
2025-09-28在 CDA（Certified Data Analyst）数据分析师的技能工具箱中，数据查询语言（尤其是 SQL）是最基础、也最核心的 “武器”。无论 ...
2025-09-28Cox 模型时间依赖性检验：原理、方法与实战应用 在生存分析领域，Cox 比例风险模型（Cox Proportional Hazards Model）是分析 “ ...
2025-09-26检测因子类型的影响程度大小：评估标准、实战案例与管控策略 在检测分析领域（如环境监测、食品质量检测、工业产品合规性测试） ...
2025-09-26CDA 数据分析师：以数据库为基石，筑牢数据驱动的 “源头防线” 在数据驱动业务的链条中，“数据从哪里来” 是 CDA（Certified D ...
2025-09-26线性相关点分布的四种基本类型：特征、识别与实战应用 在数据分析与统计学中，“线性相关” 是描述两个数值变量间关联趋势的核心 ...
2025-09-25深度神经网络神经元个数确定指南：从原理到实战的科学路径 在深度神经网络（DNN）的设计中，“神经元个数” 是决定模型性能的关 ...
2025-09-25在企业数字化进程中，不少团队陷入 “指标困境”：仪表盘上堆砌着上百个指标，DAU、转化率、营收等数据实时跳动，却无法回答 “ ...
2025-09-25MySQL 服务器内存碎片：成因、检测与内存持续增长的解决策略 在 MySQL 运维中，“内存持续增长” 是常见且隐蔽的性能隐患 —— ...
2025-09-24人工智能重塑工程质量检测：核心应用、技术路径与实践案例 工程质量检测是保障建筑、市政、交通、水利等基础设施安全的 “最后一 ...
2025-09-24CDA 数据分析师：驾驭通用与场景指标，解锁数据驱动的精准路径 在数据驱动业务的实践中，指标是连接数据与决策的核心载体。但并 ...
2025-09-24在数据驱动的业务迭代中，AB 实验系统（负责验证业务优化效果）与业务系统（负责承载用户交互与核心流程）并非独立存在 —— 前 ...
2025-09-23CDA 业务数据分析：6 步闭环，让数据驱动业务落地 在企业数字化转型中，CDA（Certified Data Analyst）数据分析师的核心价值，并 ...
2025-09-23
京公网安备 11010802034615号
经营许可证编号：京B2-20210330
