京公网安备 11010802034615号
经营许可证编号:京B2-20210330
Hadoop通过改变其配置文件来更改运行模式,我们通过修改如下四个配置文件core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml即可让Hadoop以伪分布模式运行。
Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value的方式来实现。接下来让我们开始进行hadoop的配置吧,配置之前首先启动Ubuntu虚拟机,然后打开Xshell软件并连接登录虚拟机。
1、设置hadoop-env.sh配置文件
首先,我们需要修改hadoop运行相关的sh文件,以保证hadoop运行过程中能够正常使用其他软件或组件的功能,此处一般而言只需将JAVA功能添加在内既可。
cd ~/hadoop/etc/hadoop # 进入hadoop配置文件夹 vim hadoop-env.sh
在弹出的框体中输入i进入输入模式,此时可以编辑hadoop-env.sh了。
将JAVA路径写入到文件,只需修改
为如下代码
export JAVA_HOME=/usr/local/lib/jdk1.8
然后按Esc进入命令模式再输入:wq保存文件并退出。
注:后面编辑文件的操作有将不再反复赘述编辑器打开关闭过程,只对需要更改、编辑的内容进行说明。
2、配置core-site.xml文件
首先是core-site.xml,文件,该文件决定Hadoop core组件部分运行模式,在命令行中输入开始编辑文件
vim core-site.xml
在弹出的框体中输入i,然后配置如下内容
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
编辑完成内容如下
3、配置hdfs-site.xml文件
hdfs-site.xml将决定hdfs的部分运行情况,在命令行中输入
vim hdfs-site.xml
在弹出的框体中输入配置内容
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hduser/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hduser/tmp/dfs/data</value>
</property>
</configuration>
4、配置mapred-site.xml文件
mapred-site.xml用于设置监控Map与Reduce程序的JobTracker任务分配情况以及运行情况。hadoop这里只提供了模板,可先复制再编辑,在命令行中输入
cp mapred-site.xml.template mapred-site.xml # 复制模板 vim mapred-site.xml
在弹出的框体中输入配置内容
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5、配置yarn-site.xml文件
在命令行中输入
vim yarn-site.xml
在弹出的框体中输入配置内容
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
伪分布模式的配置内容就这里,下篇文章我们介绍如何启动单节点集群。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA数据分析师 出品 作者:李诗怡 定义: 用户增长核心分析框架,刻画用户从接触产品到自发推荐的全生命周期,五个递进环节构建 ...
2026-09-15在数字化营销与精细化用户运营时代,企业传统的广撒网式营销模式成本高、转化率低,已无法适配精准商业竞争需求。客户画像作为大 ...
2026-09-15 很多数据分析师精通描述性统计,能熟练计算均值、中位数、标准差,但当被问到“用500个样本如何推断10万用户的真实满意度” ...
2026-09-15在MySQL数据库数据查询与数据分析中,GROUP BY与ORDER BY是使用频率极高的核心关键字。二者语法结构相似,常搭配使用,但核心功 ...
2026-09-14随着数字化治理、智慧运营、数字孪生技术的普及,数字体征成为衡量业务状态、系统运行、城市治理与企业经营健康度的核心体系。数 ...
2026-09-14 很多数据分析师沉迷于复杂的模型和算法,却忽略了数据分析的一项基础能力——描述性统计。事实上,大量商业分析问题,用描述 ...
2026-09-14在MySQL数据库运维与开发实践中,经常出现一种典型现象:数据库实际存储的数据量很小,数据表条数少、文件体积低,但服务器整体 ...
2026-09-11 很多数据分析师能熟练计算均值、标准差,但当被问到“总体和样本有什么区别”“参数和统计量有什么关系”“数据级别的高低如 ...
2026-09-11CDA数据分析师 出品 作者:李诗怡 定义: 将同一时间段内因具备相同属性或共同经历的用户划分为群体,分析其留存与生命周期价值 ...
2026-09-11在零售、商超、餐饮、线下门店等实体商业运营中,客流与销售额是衡量门店经营状态的两大核心指标。销售额是门店经营的最终结果, ...
2026-09-10在数据可视化体系中,柱形图是最基础、应用最广泛的图表类型,其中**累计柱形图(堆积柱状图)**是兼顾整体总量与内部结构的核心 ...
2026-09-10 许多数据分析师精通Excel函数和SQL查询,但当面对一张上万行的销售明细表,要快速回答“哪个地区销量最高”“哪款产品增长最 ...
2026-09-10在Python Pandas数据分析中,DataFrame是承载结构化数据的核心载体,数据清洗、数据修正、条件赋值、字段更新等实操场景,都离不 ...
2026-09-09 很多数据分析师掌握了Excel函数、会写SQL查询,但当被问到“数据从哪里来”“数据加工有哪些步骤”“如何使用分析工具连接数 ...
2026-09-09卡方检验(Chi-Square Test)是统计学中针对分类数据的经典显著性检验方法,核心用于判断两个离散分类变量是否相互独立、数据实 ...
2026-09-09CDA数据分析师 出品 作者:李诗怡 1. 销售漏斗阶段判断 题目:销售漏斗模型中,通过广告、社交媒体等方式触达品牌信息(如浏览品 ...
2026-09-07在Python数据分析中,Pandas库的DataFrame是最核心、最常用的结构化数据表对象,类似于Excel的二维表格,具备规整的行列结构、字 ...
2026-09-07在数据分析、经营复盘、业绩预测与经济统计工作中,平均增速(平均增长率)是衡量数据长期变化趋势、业务发展快慢的核心指标。不 ...
2026-09-07 很多数据分析师精通Excel单元格操作,但当被问到“表结构数据的基本处理单位是什么”“字段和记录的本质区别”“为什么表结 ...
2026-09-07随着大数据技术的快速发展,商业竞争逐步从传统的经验式经营转变为数据驱动的精细化运营。海量的用户行为数据、交易数据、运营数 ...
2026-09-04