Hadoop通过改变其配置文件来更改运行模式，我们通过修改如下四个配置文件core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml即可让Hadoop以伪分布模式运行。

Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value的方式来实现。接下来让我们开始进行hadoop的配置吧，配置之前首先启动Ubuntu虚拟机，然后打开Xshell软件并连接登录虚拟机。

1、设置hadoop-env.sh配置文件

首先，我们需要修改hadoop运行相关的sh文件，以保证hadoop运行过程中能够正常使用其他软件或组件的功能，此处一般而言只需将JAVA功能添加在内既可。

cd ~/hadoop/etc/hadoop # 进入hadoop配置文件夹 vim hadoop-env.sh

在弹出的框体中输入i进入输入模式，此时可以编辑hadoop-env.sh了。

将JAVA路径写入到文件，只需修改

为如下代码

export JAVA_HOME=/usr/local/lib/jdk1.8

然后按Esc进入命令模式再输入：wq保存文件并退出。

注：后面编辑文件的操作有将不再反复赘述编辑器打开关闭过程，只对需要更改、编辑的内容进行说明。

2、配置core-site.xml文件

首先是core-site.xml，文件，该文件决定Hadoop core组件部分运行模式，在命令行中输入开始编辑文件

vim core-site.xml

在弹出的框体中输入i，然后配置如下内容

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

编辑完成内容如下

3、配置hdfs-site.xml文件

hdfs-site.xml将决定hdfs的部分运行情况，在命令行中输入

vim hdfs-site.xml

在弹出的框体中输入配置内容

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hduser/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hduser/tmp/dfs/data</value>

</property>

</configuration>

4、配置mapred-site.xml文件

mapred-site.xml用于设置监控Map与Reduce程序的JobTracker任务分配情况以及运行情况。hadoop这里只提供了模板，可先复制再编辑，在命令行中输入

cp mapred-site.xml.template mapred-site.xml # 复制模板 vim mapred-site.xml

在弹出的框体中输入配置内容

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

5、配置yarn-site.xml文件

在命令行中输入

vim yarn-site.xml

在弹出的框体中输入配置内容

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

伪分布模式的配置内容就这里，下篇文章我们介绍如何启动单节点集群。

CDA学员免费下载查看报告全文：2026全球数智化人才指数报告【CDA数据科学研究院】.pdf