1、多节点集群架构设计
后续介绍的Hadoop多节点集群由三台计算机构成:一台主节点为master，两台从节点为slave1、slave2。
master节点上主要运行namenode、Resourcemanager 进程；slave节点上运行datanode、nodemanager进程。
由于大家一般只有一台计算机，因此我们使用虚拟机软件VMware workstation虚拟出三台计算机来分别运行master、slave1、slave2节点。因为是虚拟出的集群，所以跟实际的进群还是有差距的，不会体会到真正的并行计算与并行存储的优势。实际工作中整个集群会有十几个甚至上百个节点，可以批量处理以T为单位的数据。然而他们配置方法是大致相同的，运行过程也是一致的，区别只是在运行速度和存储数据量上会体现出来。
为了简化安装过程，我们将在之前的伪分布集群基础上通过修改配置文件等操作来创建master节点。
2、复制伪分布集群节点
首先需要复制之前安装配置过伪分布集群的虚拟机。具体操作步骤如下：
1）启动VMware Workstation，选择 虚拟机->管理->克隆
单击下一步继续
克隆自 选择虚拟机中的当前状态，然后单击下一步
克隆方法选择创建完整克隆
虚拟机名称设置为master，虚拟机位置根据电脑情况，请自定义。最后单击完成按钮完成克隆配置。
耐心等待，克隆过程时间长短取决于电脑磁盘读写性能。
出现如下图标表示克隆完成，单击关闭按钮结束克隆过程。
此时VMware自动弹出克隆后的虚拟机控制窗口。
3、虚拟机参数设置
用于分布式集群的虚拟机既要可以连接互联网又要可以连接其他虚拟机，在VMware软件中网卡类型选择NAT模式即可完成集群外部、内部通讯。如果是在virtualbox中则配置NAT网卡之外还需配置仅主机模式网卡一张，NAT与外部通讯，仅主机模式网卡用于集群内部通讯。
参照下图双击网络适配器
双击
网络连接选择NAT模式，内存建议2G，其他配置默认即可。
复制好master虚拟机之后还需对其进行多项配置，主要有hostname、配置固定IP，修改hadoop配置文件等，这些内容将在下篇介绍。
数据分析咨询请扫描二维码
若不方便扫码，搜微信号：CDAshujufenxi
在数据处理与可视化场景中，将Python分析后的结果导出为Excel文件是高频需求。而通过设置单元格颜色，能让Excel中的数据更具层次 ...
2026-01-06在企业运营、业务监控、数据分析等场景中，指标波动是常态——无论是日营收的突然下滑、用户活跃度的骤升，还是产品故障率的异常 ...
2026-01-06在数据驱动的建模与分析场景中，“数据决定上限，特征决定下限”已成为行业共识。原始数据经过采集、清洗后，往往难以直接支撑模 ...
2026-01-06在Python文件操作场景中，批量处理文件、遍历目录树是高频需求——无论是统计某文件夹下的文件数量、筛选特定类型文件，还是批量 ...
2026-01-05在神经网络模型训练过程中，开发者最担心的问题之一，莫过于“训练误差突然增大”——前几轮还平稳下降的损失值（Loss），突然在 ...
2026-01-05在数据驱动的业务场景中，“垃圾数据进，垃圾结果出”是永恒的警示。企业收集的数据往往存在缺失、异常、重复、格式混乱等问题， ...
2026-01-05在数字化时代，用户行为数据已成为企业的核心资产之一。从用户打开APP的首次点击，到浏览页面的停留时长，再到最终的购买决策、 ...
2026-01-04在数据分析领域，数据稳定性是衡量数据质量的核心维度之一，直接决定了分析结果的可靠性与决策价值。稳定的数据能反映事物的固有 ...
2026-01-04在CDA（Certified Data Analyst）数据分析师的工作链路中，数据读取是连接原始数据与后续分析的关键桥梁。如果说数据采集是“获 ...
2026-01-04尊敬的考生： 您好！ 我们诚挚通知您，CDA Level III 考试大纲将于 2025 年 12 月 31 日实施重大更新，并正式启用，2026年3月考 ...
2025-12-31“字如其人”的传统认知，让不少“手残党”在需要签名的场景中倍感尴尬——商务签约时的签名歪歪扭扭，朋友聚会的签名墙不敢落笔 ...
2025-12-31在多元统计分析的因子分析中，“得分系数”是连接原始观测指标与潜在因子的关键纽带，其核心作用是将多个相关性较高的原始指标， ...
2025-12-31对CDA（Certified Data Analyst）数据分析师而言，高质量的数据是开展后续分析、挖掘业务价值的基础，而数据采集作为数据链路的 ...
2025-12-31在中介效应分析（或路径分析）中，间接效应是衡量“自变量通过中介变量影响因变量”这一间接路径强度与方向的核心指标。不同于直 ...
2025-12-30数据透视表是数据分析中高效汇总、多维度分析数据的核心工具，能快速将杂乱数据转化为结构化的汇总报表。在实际分析场景中，我们 ...
2025-12-30在金融投资、商业运营、用户增长等数据密集型领域，量化策略凭借“数据驱动、逻辑可验证、执行标准化”的优势，成为企业提升决策 ...
2025-12-30CDA（Certified Data Analyst），是在数字经济大背景和人工智能时代趋势下，源自中国，走向世界，面向全行业的专业技能认证，旨 ...
2025-12-29在数据分析领域，周期性是时间序列数据的重要特征之一——它指数据在一定时间间隔内重复出现的规律，广泛存在于经济、金融、气象 ...
2025-12-29数据分析师的核心价值在于将海量数据转化为可落地的商业洞察，而高效的工具则是实现这一价值的关键载体。从数据采集、清洗整理， ...
2025-12-29在金融、零售、互联网等数据密集型行业，量化策略已成为企业提升决策效率、挖掘商业价值的核心工具。CDA（Certified Data Analys ...
2025-12-29
京公网安备 11010802034615号
经营许可证编号：京B2-20210330
