一、电脑信息电脑版本：MacBook Pro 14 2023处理器： M2 pro内存 ：16GBmacos：13.4Linux ：almalinux 9.1Shell ：termius关于Linux的安装和ssh 可参照这篇文章https://www.cda.cn/discuss/post/details/649fba2a34a19c3cbf04a7c5Hadoop的集群搭建可以参照bilibi
问题: hadoop成功配置之后，namenode没有成功启动。 原因:可能是hadoop的集群的配置不正确 解决方案: 先检查logs/文件目录下的日志，然后再检查hadoop/etc/hadoop 的主要配置文件是否正确配置。
问题: Hadoop警告:Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因:Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。 解决办法:
问题: 启动hadoop时候报错：localhost: ssh: Could not resolve hostname localhost: Temporary failure in name resolution” 原因: hadoop的环境没有配置好，或者没有使配置生效。 解决办法: 如果没有配置Hadoop的环境变量，就填加配置。 例如:
问题:org.apache.hadoop.hdfs.server.namenode.NameNode。 原因:没有指定路径 解决办法:修改hadoop-env.sh文件。安装的hadoop路径是“/usr/local/hadoop/hadoop-2.8.2”， 在此路径下执行 vim etc/hadoop/hadoop-env.sh 在文件最后面添加 export HADOO
问题2：Use of this script to execute hdfs command is deprecated。 原因:hadoop版本问题，命令过时。 解决办法: 将hadoop命令改成hdfs。
问题:FATAL conf.Configuration: error parsing conf hdfs-site.xml 原因: 字符编码问题。 解决办法: 统一编码，将文件打开，另存为统一编码，如UTF-8 即可。
sparkSQL的HiveContext访问hive权限问题：The root scratch dir: /tmp/hive on HDFS should be writable Current permissions are : rwx------spark 用的是Windows local 模式答：这是由于用户对'\tmp\hive'文件夹访问权限受限所致。查看权限可以使用%H
Hadoop计算任务阶段是如何划分的？答：Hadoop计算任务阶段划分如下图所示： 一个计算任务application 可以有多个job。每个job 可以有多个task任务。
hdfs 的SecondaryNameNode在哪里配置的？ 如果想在其他节点启动该如何启动？答：SecondaryNameNode是在hdfs-site.xml中配置的dfs.namenode.secondary.http-address参数值 dfs.namenode.secondary.http-address
我们连接远程服务器的时候需要做文件传输本地文件上传到服务器或者从服务器下载文件到本地，有什么好用的工具吗？答：我们常用的shell模拟器有xshell ,这款软件可以让我们连接远程主机并操作他，传输文件的功能则相对弱一些。其实我们可以通过lrzsz来强化他的功能。首先需要在虚拟机上安装lrzszsudo apt-get install lrzsz 安装完成之后我们就可以用他上传下载文
在正常启动hadoop后，过段时间namenode进程消失是怎么回事？答：此类问题可以查看hadoop 文件目录下的logs文件夹，下面记录着hadoop运行相关的日志文件。如果出现问题，首先应该去日志中查找线索。namenode进程消失常见的原因是hosts文件没有修改正确，导致IP地址关联错误，最终namenode退出。
无法使用浏览器访问hdfs 50070是什么原因？使用的操作系统是centos7答：很有可能是防火墙没有关闭导致的，centos7关闭防火墙的命令为 关闭防火墙： systemctl stop firewalld.service 禁用防火墙（永久）：systemctl disable firewalld.service 查看防火墙状态：fire
Hive启动报错： Found class jline.Terminal, but interface was expected答：原因是hadoop目录下存在老版本jline:-rw-r--r-- 1 root root 87325 Mar 10 18:10 jline-0.9.94.jar解决：cp hive安装目录/lib/jline-2.12.jar hadoop安装目录
无法使用hive账号远程访问 MySQL问题。在配置hive的时候无法连接到m原数据库MySQL，这个怎么解决？答：如果仅仅是使用hive账号无法无法登录MySQL 那应该是该账户不允许远程登录。可以使用如下代码进行配置。首先使用管理员账号登录MySQL命令行。然后在命令行中输入：use mysql; update user set host='%' where host = '
启动Hadoop集群之后无法启动hive命令行，报错信息如下： 这是什么问题？答：hdfs刚启动的时候会进行大量的初始化操作，这个时候hdfs处于安全模式，是不允许对其进行写操作的，因此会报错。安全模式默认会在30秒后解除，等待30秒再启动hive即可。
spark中的job与mapreduce中job的区别？答： 熟悉Hadoop的人应该都知道，用户先编写好一个程序，我们称为Mapreduce程序，一个Mapreduce程序就是一个Job，而一个Job里面可以有一个或多个Task，Task又可以区分为Map Task和Reduce Task.而在Spark中，也有Job概念，但是这里的Job和Mapreduce中的Job不一样，它不
spark-shell报错：Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream答：从spark1.4以后，所有spark的编译都是没有将hadoop的classpath编译进去的，所以必须在spark-env.sh中指定hadoop中的所有jar包。
关闭防火墙 50070端口可以访问了，但是重启之后不行了，这是什么原因？答：这应该是防火墙拦截了对该端口的链接。一般情况下系统防火墙是默认开机启动的，因此需要设置防火墙为开机不启动，然后再关闭防火墙就好了。禁止开机启动命令：systemctl disable firwalld.service关闭防火墙命令systemctl stop firewalld.service
使用浏览器无法连接到虚拟机上的hdfs 50070端口怎么办？答：这个问题一般是由于没关闭防火墙造成的，首先确保已经开启hdfs服务进程、然后使用命令（Centos7）systemctl stop firewalld.service关闭防火墙,然后再链接测试
关注
PGC123
换一批
