2023-07-16 阅读量: 376
一、电脑信息
电脑版本：MacBook Pro 14 2023
处理器： M2 pro
内存 ：16GB
macos：13.4
Linux ：almalinux 9.1
Shell ：termius
关于Linux的安装和ssh 可参照这篇文章
https://www.cda.cn/discuss/post/details/649fba2a34a19c3cbf04a7c5
Hadoop的集群搭建可以参照bilibili的这个视频 https://www.bilibili.com/video/BV1x5411177Y?vd_source=b68a713735fe58e95cc90370349f3e0e
二、hadoop本地模式安装 准备
2.1 hadoop下载
从清华镜像源下载；Index of /apache/hadoop/common/hadoop-3.3.6 (tsinghua.edu.cn)
Hadoop名称—— hadoop-3.3.6-aarch64.tar.gz
2.2 JDK 下载
从huawei镜像源下载；https://repo.huaweicloud.com/java/jdk/8u202-b08/
jdp名称 ——jdk-8u202-linux-arm64-vfp-hflt.tar.gz
2.3 进入root模式
[nigel@localhost network-scripts]$ su
密码：
[root@localhost network-scripts]#
2.4 将虚拟机ip设为静态（是almalinux的操作，与其他Linux不同）
可以参照https://www.cda.cn/discuss/post/details/649fba2a34a19c3cbf04a7c5的最后几张图片进行修改。该网址修改静态ip无需进入终端
[root@localhost network-scripts]# cd /etc/NetworkManager/system-connections/
[root@localhost system-connections]# ls
enp0s5.nmconnection
[root@localhost system-connections]# vi enp0s5.nmconnection
这里是已经修改过的，可以在vi 中修改。也可以参照https://www.cda.cn/discuss/post/details/649fba2a34a19c3cbf04a7c5的最后几张图片进行修改。
2.5修改hostname
[root@localhost etc]# vim /etc/hostname
输入你要设置的用户名后，esc退出插入，按:wq! 退出（注意是在root账户下）
2.6修改hosts，配置主机名映射
vim /etc/hosts
插入 Linux的ip地址 和 上一步修改完的hostname
2.7 给hostname配置sudo 权限
[root@localhost etc]# vim /etc/sudoers
2.8 安装 epel-release
[root@nigel nigel]# yum install -y epel-release
2.9 重启虚拟机
[root@localhost etc]# reboot
2.10 修改Mac 上的hosts
可以自行bing搜索相关方法，这里省略，不改也没关系。
三、安装hadoop 和jdk
3.1创建软件安装的文件夹，并修改所有者
重启系统后，再次进入root
[root@nigel1 opt]# cd
[root@nigel1 ~]# cd /opt/
[root@nigel1 opt]# mkdir module/software/
[root@nigel1 opt]# chown nigel:nigel module/software/
3.2 上传hadoop 和jdk
先退出root权限
[root@nigel1 opt]# exit
将下载好的文件通过SFTP 上传到linux的/opt/module/software/目录下
3.3安装JDK
需要提前检查是否已经存在java，若存在可以先卸载
[nigel@nigel1 software]$ cd /opt/module/software
[nigel@nigel1 software]$ tar -zxvf jdk-8u202-linux-arm64-vfp-hflt.tar.gz -C /opt/module/
等待解压安装即可
[nigel@nigel1 software]$ sudo vim /etc/profile.d/my_env.sh
添加下面内容
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_202
export PATH=$PATH:$JAVA_HOME/bin
使环境生效
[nigel@nigel1 software]$ source /etc/profile
检查安装的jdk版本
[nigel@nigel1 software]$ java -version
3.4安装hadoop
[nigel@nigel1 software]$ cd /opt/module/software
[nigel@nigel1 software]$ tar -zxvf hadoop-3.3.6-aarch64.tar.gz -C /opt/module/
[nigel@nigel1 software]$ sudo vim /etc/profile.d/my_env.sh
添加
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
应用环境
[nigel@nigel1 software]$ source /etc/profile
查看安装结果
[nigel@nigel1 software]$ hadoop version
Hadoop 3.3.6
Source code repository https://github.com/apache/hadoop.git -r 1be78238728da9266a4f88195058f08fd012bf9c
Compiled by ubuntu on 2023-06-18T23:15Z
Compiled on platform linux-aarch_64
Compiled with protoc 3.7.1
From source with checksum 5652179ad55f76cb287d9c633bb53bbd
This command was run using /opt/module/hadoop-3.3.6/share/hadoop/common/hadoop-common-3.3.6.jar
四、伪分布
4.1修改hadoop-env.sh
[nigel@nigel1 software]$ vim /opt/module/hadoop-3.3.6/etc/hadoop/hadoop-env.sh
在第54行进行修改，如图所示
export JAVA_HOME=/opt/module/jdk1.8.0_202/
4.2修改core-site.xml
[nigel@nigel1 software]$ vim /opt/module/hadoop-3.3.6/etc/hadoop/core-site.xml
在<configuration>与</configuration>之间添加内容：
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://nigel1:9820</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.3.6/data/tmp</value>
</property>
<property>
<name>hadoop.proxyuser.nigel.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.nigel.groups</name>
<value>*</value>
</property>
4.3 修改hdfs-site.xml
[nigel@nigel1 software]$ vim /opt/module/hadoop-3.3.6/etc/hadoop/hdfs-site.xml
在<configuration>与</configuration>之间添加内容：
<!-- 指定HDFS副本的数量,默认为3 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
4.4修改yarn-site.xml
[nigel@nigel1 software]$ vim /opt/module/hadoop-3.3.6/etc/hadoop/yarn-site.xml
在<configuration>与</configuration>之间添加内容：
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>nigel1</value>
</property>
<!-- 环境变量 -->
<property>
<name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
4.5修改mapred-site.xml
[nigel@nigel1 software]$ vim /opt/module/hadoop-3.3.6/etc/hadoop/mapred-site.xml
<!-- 指定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
4.6格式化NameNode
请先删除hadoop-3.3.6/data目录和hadoop-3.3.6/logs目录
[nigel@nigel1 software]$ rm -rf /opt/module/hadoop-3.3.6/data/ /opt/module/hadoop-3.3.6/logs/
格式化
[nigel@nigel1 software]$ hdfs namenode -format
5.免密登陆
[nigel@nigel1 software]$ ssh-keygen -t rsa
然后按好几下回车
[nigel@nigel1 software]$ ssh-copy-id nigel1
输入密码
切换root账户
[nigel@nigel1 software]$ su
密码：
[root@nigel1 software]# ssh-keygen -t rsa
[root@nigel1 software]# ssh-copy-id nigel1
[root@nigel1 software]# exit
