1、多节点集群架构设计
后续介绍的Hadoop多节点集群由三台计算机构成:一台主节点为master，两台从节点为slave1、slave2。
master节点上主要运行namenode、Resourcemanager 进程；slave节点上运行datanode、nodemanager进程。
由于大家一般只有一台计算机，因此我们使用虚拟机软件VMware workstation虚拟出三台计算机来分别运行master、slave1、slave2节点。因为是虚拟出的集群，所以跟实际的进群还是有差距的，不会体会到真正的并行计算与并行存储的优势。实际工作中整个集群会有十几个甚至上百个节点，可以批量处理以T为单位的数据。然而他们配置方法是大致相同的，运行过程也是一致的，区别只是在运行速度和存储数据量上会体现出来。
为了简化安装过程，我们将在之前的伪分布集群基础上通过修改配置文件等操作来创建master节点。
2、复制伪分布集群节点
首先需要复制之前安装配置过伪分布集群的虚拟机。具体操作步骤如下：
1）启动VMware Workstation，选择 虚拟机->管理->克隆
单击下一步继续
克隆自 选择虚拟机中的当前状态，然后单击下一步
克隆方法选择创建完整克隆
虚拟机名称设置为master，虚拟机位置根据电脑情况，请自定义。最后单击完成按钮完成克隆配置。
耐心等待，克隆过程时间长短取决于电脑磁盘读写性能。
出现如下图标表示克隆完成，单击关闭按钮结束克隆过程。
此时VMware自动弹出克隆后的虚拟机控制窗口。
3、虚拟机参数设置
用于分布式集群的虚拟机既要可以连接互联网又要可以连接其他虚拟机，在VMware软件中网卡类型选择NAT模式即可完成集群外部、内部通讯。如果是在virtualbox中则配置NAT网卡之外还需配置仅主机模式网卡一张，NAT与外部通讯，仅主机模式网卡用于集群内部通讯。
参照下图双击网络适配器
双击
网络连接选择NAT模式，内存建议2G，其他配置默认即可。
复制好master虚拟机之后还需对其进行多项配置，主要有hostname、配置固定IP，修改hadoop配置文件等，这些内容将在下篇介绍。
数据分析咨询请扫描二维码
若不方便扫码，搜微信号：CDAshujufenxi
CDA一级知识点汇总手册 第三章 商业数据分析框架考点27：商业数据分析体系的核心逻辑——BSC五视角框架考点28：战略视角考点29： ...
2026-02-20CDA一级知识点汇总手册 第二章 数据分析方法考点7：基础范式的核心逻辑（本体论与流程化）考点8：分类分析（本体论核心应用）考 ...
2026-02-18第一章：数据分析思维考点1：UVCA时代的特点考点2：数据分析背后的逻辑思维方法论考点3：流程化企业的数据分析需求考点4：企业数 ...
2026-02-16在数据分析、业务决策、科学研究等领域，统计模型是连接原始数据与业务价值的核心工具——它通过对数据的规律提炼、变量关联分析 ...
2026-02-14在SQL查询实操中，SELECT * 与 SELECT 字段1, 字段2,...（指定个别字段）是最常用的两种查询方式。很多开发者在日常开发中，为了 ...
2026-02-14对CDA（Certified Data Analyst）数据分析师而言，数据分析的核心不是孤立解读单个指标数值，而是构建一套科学、完整、贴合业务 ...
2026-02-14在Power BI实操中，函数是实现数据清洗、建模计算、可视化呈现的核心工具——无论是简单的数据筛选、异常值处理，还是复杂的度量 ...
2026-02-13在互联网运营、产品迭代、用户增长等工作中，“留存率”是衡量产品核心价值、用户粘性的核心指标——而次日留存率，作为留存率体 ...
2026-02-13对CDA（Certified Data Analyst）数据分析师而言，指标是贯穿工作全流程的核心载体，更是连接原始数据与业务洞察的关键桥梁。CDA ...
2026-02-13在机器学习建模实操中，“特征选择”是提升模型性能、简化模型复杂度、解读数据逻辑的核心步骤——而随机森林（Random Forest） ...
2026-02-12在MySQL数据查询实操中，按日期分组统计是高频需求——比如统计每日用户登录量、每日订单量、每日销售额，需要按日期分组展示， ...
2026-02-12对CDA（Certified Data Analyst）数据分析师而言，描述性统计是贯穿实操全流程的核心基础，更是从“原始数据”到“初步洞察”的 ...
2026-02-12备考CDA的小伙伴，专属宠粉福利来啦！ 不用拼运气抽奖，不用复杂操作，只要转发CDA真题海报到朋友圈集赞，就能免费抱走实用好礼 ...
2026-02-11在数据科学、机器学习实操中，Anaconda是必备工具——它集成了Python解释器、conda包管理器，能快速搭建独立的虚拟环境，便捷安 ...
2026-02-11在Tableau数据可视化实操中，多表连接是高频操作——无论是将“产品表”与“销量表”连接分析产品销量，还是将“用户表”与“消 ...
2026-02-11在CDA（Certified Data Analyst）数据分析师的实操体系中，统计基本概念是不可或缺的核心根基，更是连接原始数据与业务洞察的关 ...
2026-02-11在数字经济飞速发展的今天，数据已成为核心生产要素，渗透到企业运营、民生服务、科技研发等各个领域。从个人手机里的浏览记录、 ...
2026-02-10在数据分析、实验研究中，我们经常会遇到小样本配对数据的差异检验场景——比如同一组受试者用药前后的指标对比、配对分组的两组 ...
2026-02-10在结构化数据分析领域，透视分析（Pivot Analysis）是CDA（Certified Data Analyst）数据分析师最常用、最高效的核心实操方法之 ...
2026-02-10在SQL数据库实操中，字段类型的合理设置是保证数据运算、统计准确性的基础。日常开发或数据分析时，我们常会遇到这样的问题：数 ...
2026-02-09
京公网安备 11010802034615号
经营许可证编号：京B2-20210330
