京公网安备 11010802034615号
经营许可证编号:京B2-20210330
上篇文章中我们通过克隆已有虚拟机并修改相应的参数配置将hadoop分布式集群搭建完成,接下来我们启动Hadoop分布式集群。
1、ssh免密登录
首先打开虚拟机软件VMware然后开启master、slave1、slave2三个虚拟机。
一般搭建hadoop分布式集群时需要配置集群中各个节点间的ssh免密登录,然后才可以启动hadoop分布式集群。我们在master虚拟机终端中输入命令ssh slave1 , 此时出现如下提示,然后输入yes
注意输入exit命令退出slave2的登录。接下来我们就可以远程登录到slave2了。在登录的过程中我们也无需输入密码。小伙伴们会不会有疑问,我们什么时候配置过ssh免密登录?
其实我们还真的配置了,由于现在集群中的三个虚拟机最终的源头都是由伪分布集群的虚拟机复制过来的,在这过程中也把.ssh目录下的authorized_keys这个文件复制过来了。
这个文件的作用之前提前过,简单来说就是认证登录ssh服务器的客户机,只要客户机的公钥在这里面就可以不用密码登录ssh服务器了。下图为slave1节点hduser用户主目录下的.ssh目录大家可以看到authorized_keys目录已经存在了。
2、格式化HDFS
由于我们集群中的虚拟机都是由伪分布集群虚拟机克隆出来的所以会有HDFS相关的目录,而且目录中还有数据,为了不影响格式化操作我们需要将这些目录中的数据都删除,然后再执行格式化。
输入命令rm -rf tmp/dfs/ 删除dfs目录
首先通过ssh slave1登录slave1然后执行rm -rf tmp/dfs/删除slave1 中的dfs目录。记得exit退出slave1的登录。
删除方式与删除slave1虚拟机HDFS目录的方式一致,这里不再赘述,具体操作可参照下图。一定记得最后执行exit退出slave2的登录,否则极易造成误操作。
2.4格式化HDFS
在删除各个节点HDFS文件后我们开始格式化HDFS。在master终端输入命令 hadoop namenode –format然后回车执行。执行完成后会看到下图标注的那句话,表明格式化成功。
3、启动hadoop
格式化HDFS结束之后我们就可以启动hadoop分布式集群了。启动可以可以分步执行当然hadoop也给我们提供了更简单的脚本通过一个命令自动启动所有模块。这里需要指出的是不管分步执行启动过程还是通过脚本自动启动,模块的启动顺序都是一致的即先启动HDFS模块然后再启动YARN模块,停止的过程则是先停止YARN模块再停HDFS模块。下面我们来分别操作演示一下。
3.1启动HDFS进程
启动HDFS模块使用命令start-dfs.sh,启动过程如下图所示。需要注意的是我们启动或者停止的命令都是只需在master节点终端中操作即可,底层hadoop会自动启动其他节点的相关进程。启动完成后可以通过jps命令查看启动了哪些进程,这在下图也有展示。我们可以看到HDFS模块在master上有NameNode与
SecondaryNameNode进程。
HDFS模块在slave1节点启动进程DataNode
HDFS模块在slave2节点启动进程也是DataNode。
3.2启动YARN进程
启动YARN模块的命令为start-yarn.sh,启动过程如下图所示
master节点启动的进程如下图所示,比启动HDFS时多了ResourceManager进程。
在slave1与slave2节点上多了NodeManager进程
3.2全部启动(包括YARN、HDFS)
hadoop还提供了一个可以自动启动HDFS与YARN的脚本命令start-all.sh和停止HDFS与YARN的命令stop-all.sh。在使用start-all.sh命令前我们需要先停止所有进程否则会报错。在终端输入命令stop-all.sh停止所有进程过程如下图所示。此时通过jps命令查看master所有hadoop相关进程已经关闭
查看slave1 slave2节点同样的是hadoop进程消失,说明命令执行成功。
下面演示同时启动HDFS 、YARN,命令行执行命令start-all.sh,并使用jps查看进程,如下面三张图所示,启动成功。
小伙伴们今天的内容到这里就结束了,你Get到了没。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在神经网络模型搭建中,“最后一层是否添加激活函数”是新手常困惑的关键问题——有人照搬中间层的ReLU激活,导致回归任务输出异 ...
2025-12-05在机器学习落地过程中,“模型准确率高但不可解释”“面对数据噪声就失效”是两大核心痛点——金融风控模型若无法解释决策依据, ...
2025-12-05在CDA(Certified Data Analyst)数据分析师的能力模型中,“指标计算”是基础技能,而“指标体系搭建”则是区分新手与资深分析 ...
2025-12-05在回归分析的结果解读中,R方(决定系数)是衡量模型拟合效果的核心指标——它代表因变量的变异中能被自变量解释的比例,取值通 ...
2025-12-04在城市规划、物流配送、文旅分析等场景中,经纬度热力图是解读空间数据的核心工具——它能将零散的GPS坐标(如外卖订单地址、景 ...
2025-12-04在CDA(Certified Data Analyst)数据分析师的指标体系中,“通用指标”与“场景指标”并非相互割裂的两个部分,而是支撑业务分 ...
2025-12-04每到“双十一”,电商平台的销售额会迎来爆发式增长;每逢冬季,北方的天然气消耗量会显著上升;每月的10号左右,工资发放会带动 ...
2025-12-03随着数字化转型的深入,企业面临的数据量呈指数级增长——电商的用户行为日志、物联网的传感器数据、社交平台的图文视频等,这些 ...
2025-12-03在CDA(Certified Data Analyst)数据分析师的工作体系中,“指标”是贯穿始终的核心载体——从“销售额环比增长15%”的业务结论 ...
2025-12-03在神经网络训练中,损失函数的数值变化常被视为模型训练效果的“核心仪表盘”——初学者盯着屏幕上不断下降的损失值满心欢喜,却 ...
2025-12-02在CDA(Certified Data Analyst)数据分析师的日常工作中,“用部分数据推断整体情况”是高频需求——从10万条订单样本中判断全 ...
2025-12-02在数据预处理的纲量统一环节,标准化是消除量纲影响的核心手段——它将不同量级的特征(如“用户年龄”“消费金额”)转化为同一 ...
2025-12-02在数据驱动决策成为企业核心竞争力的今天,A/B测试已从“可选优化工具”升级为“必选验证体系”。它通过控制变量法构建“平行实 ...
2025-12-01在时间序列预测任务中,LSTM(长短期记忆网络)凭借对时序依赖关系的捕捉能力成为主流模型。但很多开发者在实操中会遇到困惑:用 ...
2025-12-01引言:数据时代的“透视镜”与“掘金者” 在数字经济浪潮下,数据已成为企业决策的核心资产,而CDA数据分析师正是挖掘数据价值的 ...
2025-12-01数据分析师的日常,常始于一堆“毫无章法”的数据点:电商后台导出的零散订单记录、APP埋点收集的无序用户行为日志、传感器实时 ...
2025-11-28在MySQL数据库运维中,“query end”是查询执行生命周期的收尾阶段,理论上耗时极短——主要完成结果集封装、资源释放、事务状态 ...
2025-11-28在CDA(Certified Data Analyst)数据分析师的工具包中,透视分析方法是处理表结构数据的“瑞士军刀”——无需复杂代码,仅通过 ...
2025-11-28在统计分析中,数据的分布形态是决定“用什么方法分析、信什么结果”的底层逻辑——它如同数据的“性格”,直接影响着描述统计的 ...
2025-11-27在电商订单查询、用户信息导出等业务场景中,技术人员常面临一个选择:是一次性查询500条数据,还是分5次每次查询100条?这个问 ...
2025-11-27