单节点集群模式(a Single Node Cluster)又称伪分布模式,只需一个节点即可运行。这种模式一般只是用来学习或者开发、测试使用。实际使用中还是使用多节点的分布式。
1、环境变量配置
为了方便的执行Hadoop程序,需要配置很多系统环境变量。主要有以下几个变量
设置HADOOP_HOME为Hadoop的安装路径
export HADOOP_HOME=/home/hduser/hadoop
设置将hadoop添加到PATH,上文中已经介绍过hadoop的运行文件在bin和sbin目录下,通过设置PATH后,我们可以在任何位置执行hadoop命令。
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin
设置hadoop其他环境变量
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
链接库的相关设置
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME
export HADOOP_OPTS=”-Djava.library.path=$HADOOP_HOME/lib”
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
与配置Jdk的系统环境变量方法一致,我们只需将需要配置的系统变量添加到用户主目录下的.bashrc文件中即可。打开Ubuntu虚拟机,然后打开Xshell连接登陆到虚拟机,在用户主目录下执行命令 vim .bashrc
在新的框体中输入i进入编辑模式,然后在文件末尾输入下述内容
按esc退出编辑模式,输入:wq保存并退出
命令行中输入 source .bashrc命令更新一下系统环境变量
更新完成后我们可以通过echo $HADOOP_HOME测试系统变量是否添加成功,如下图所示表明已经成功。
Hadoop 默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试。在此我们可以在本地模式下运行部分Hadoop自带MapReduce例子来验证Hadoop能够正常运行,同时体验Hadoop中MapReduce运行命令格式。在命令行中输入
cd hadoop/ #进入Hadoop安装文件目录
mkdir ./input #在hadoop文件夹下创建输入文件
cp ./etc/hadoop/*.xml ./input #将配置文件作为输入文件
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+' #运行MapReduce中grep例子,筛选符合正则表达式dfs[a-z]+的单词并统计其出现的次数,并将结果放入output文件夹中,关于正则表达式更多内容,参见附录三:正则表达式速查表格
cat ./output/* #查看运行结果
删除创建的文件使用以下命令
rm -r ./output
rm -r ./input
Hadoop 还可以在单节点上以伪分布式的方式运行,此时Hadoop 进程以分离的 Java 进程来运行,节点既作为NameNode 也作为 DataNode,同时读取的是 HDFS 中的文件。这种模式需要修改相应的配置文件,我们将会在下文中进行详细讲解。
数据分析咨询请扫描二维码
在当今数字化时代,数据分析岗位扮演着至关重要的角色。从数据的收集到最终的业务支持与决策,数据分析专员肩负着多方面的责任。 ...
2024-12-02在当今数字化时代,数据分析已经成为企业的核心竞争力之一。从数据的收集到分析再到最终的决策支持,数据分析人员在企业中扮演着 ...
2024-12-02数据分析,看似高深莫测,实则贴近日常生活。许多人误以为数据分析需要高超技能如Python编程或算法应用,然而,真正的数据分析并 ...
2024-12-02数据分析在当今职场中扮演着至关重要的角色,但在追求这一技能的过程中,我们常常陷入各种误区。从认知误区到工具依赖,这些障碍 ...
2024-12-02初阶阶段 统计学基础:深入理解概率、假设检验及回归分析,揭示数据背后的价值意义。 Excel高级应用:掌握数据导入、清洗和动态 ...
2024-12-02基础阶段 统计学基础: 掌握概率、假设检验、回归分析等内容,这些是解读数据背后含义的关键。 Excel高级应用: 学习数据导入、 ...
2024-12-02实习机会 数据分析师实习生在当今数据驱动的时代中拥有丰富的机会,但竞争也异常激烈。他们的日常工作包括从各个来源收集数据, ...
2024-12-02在当今数据驱动的时代,数据分析师的实习机会异常丰富且竞争激烈。本文将深入探讨数据分析师实习机会及建议,揭示行业内的关键信 ...
2024-12-02基础知识 统计学: 掌握数据分析的关键是理解统计学基本概念,如平均值、中位数和回归分析。这些概念为分析数据提供了重要框架 ...
2024-12-02基础知识 数据分析领域的入门之路并不是一帆风顺,就像搭建高楼大厦一样,需要坚实的基础。首先,我们来探讨几个关键的基础知识 ...
2024-12-02在当今信息爆炸的时代,数据成为企业决策的关键驱动力。成为一名优秀的数据分析师,并非仅仅掌握数据的本质,更需要具备多方面的 ...
2024-12-02数据收集与整理 数据分析师需要从多个来源收集数据,包括内部数据库、外部市场数据和社交媒体。 清洗和整理数据以确保准确性和 ...
2024-12-02在当今信息爆炸的时代,数据分析扮演着愈发关键的角色。从数据的收集、清洗、分析到最终的报告撰写,数据分析涵盖了广泛而深入的 ...
2024-12-02揭秘数据分析求职之路 在当今竞争激烈的就业市场中,数据分析专业的就业形势备受关注。究竟数据分析领域的求职难度如何?让我们 ...
2024-12-02数据分析就业挑战与应对策略 在当今社会,数据分析专业的就业并非一帆风顺。竞争激烈,技能要求高,许多人发现找工作并不容易。 ...
2024-12-02在追求成为一名出色的数据分析师的道路上,技术和软技能同样重要。技术技能涵盖了诸多方面,其中包括: 统计学知识 探索庞大数据 ...
2024-12-02从技术到软技能:数据分析的全貌 学习数据分析是一项综合性任务,涉及多方面技能。这些技能主要可以划分为技术技能和软技能两大 ...
2024-12-02作为初学者踏入数据分析领域,掌握一系列关键能力至关重要。这些技能不仅涵盖基础工具的使用,还包括深入的分析方法、对业务的理 ...
2024-12-02欢迎探寻数据分析的奇妙世界!对于初学者而言,融会贯通数据领域的复杂性可能有些令人望而却步。然而,不必惊慌,因为我们将一起 ...
2024-12-02欢迎踏上学习数据分析的旅程!数据已经渗透到我们生活的方方面面,成为决策和创新的关键。无论是提升工作效率、探索数据领域还是 ...
2024-12-02