Hadoop作业提交多种方案具体流程详解
提交hadoop作业时我们遇到了许多的问题,在网上也查过许多的文章,有许多对hadoop提交作业原理进行分析的文章,却总看不到对具体操作过程讲解的文章,导致我们在eclipse提交的作业总是在eclipse虚拟的云环境中运行。慢慢摸索中,一个一个的作业提交方法被我们发现,呵呵,现在总结一下吧。
方案:
1、用命令行方式提交
2、在eclipse中提交作业
3、采用eclipse的插件实现项目的提交
方案一:用命令行方式提交
前提:成功搭建一个hadoop集群,或成功部署一个伪分布式,并启动hadoop。
提交过程:
1、在eclipse中将我们的项目打成一个jar包,放到hadoop的安装目录下。
2、在命令行中提交作业,这里以hadoop自带的wordcount程序为例:
(1)将统计文件传到hdfs,如图(1)
(2)向云提交作业,如图(2)
提交作业时,如果遇到错误:Name node in safe mode,可采用下面的解决方法,如图(3)
(3)列出hdfs上输出文件夹下的文件,如图(4)
(4)在命令行中打印统计好的结果,如图(5)
(注:在命令行中提交作业是按hadoop/conf下的配置文件提交的)
方案二:在eclipse中提交作业
前提:
1、在你的电脑上安装好eclipse,可以在linux下,也可以在windows环境下哦~,这里需要指出的是:提交作业的机器只要有hadoop的API就可以了,和提交作业的机器所处的环境无关。
2、成功搭建一个hadoop集群,或成功部署一个伪分布式,并启动hadoop。
提交过程:
1、在eclipse下建立一个mapreduce项目,导入hadoop的API(hadoop/lib下的包)。
这里直接从外部导入hadoop中自带的wordcount程序。为了可以直接“Run java Aplication”我修改了一点wordcount的代码,使其输入输出文件的地址直接在代码中设置。贴出代码如下:
wordcount.java:
Java代码 收藏代码
package org.apache.hadoop.examples;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class WordCount {
//mapper类
public static class TokenizerMapper
extends Mapper<Object, Text, Text, IntWritable>{
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();
public void map(Object key, Text value, Context context
) throws IOException, InterruptedException {
StringTokenizer itr = new StringTokenizer(value.toString());
while (itr.hasMoreTokens()) {
word.set(itr.nextToken());
context.write(word, one);
}
}
}
//reducer类
public static class IntSumReducer
extends Reducer<Text,IntWritable,Text,IntWritable> {
private IntWritable result = new IntWritable();
public void reduce(Text key, Iterable<IntWritable> values,
Context context
) throws IOException, InterruptedException {
int sum = 0;
for (IntWritable val : values) {
sum += val.get();
}
result.set(sum);
context.write(key, result);
}
}
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = new Job(conf, "word count");
job.setJarByClass(WordCount.class);
job.setMapperClass(TokenizerMapper.class);
job.setCombinerClass(IntSumReducer.class);
job.setReducerClass(IntSumReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path("/home/hadoop/testin"));
FileOutputFormat.setOutputPath(job, new Path("/home/hadoop/testout"));
System.exit(job.waitForCompletion(true) ? 0 : 1);
}
}
如果此时你run java aplication,呵呵,你的程序只会在eclipse中虚拟的一个云环境中运行,而不会跑上云端去运行哦。我们一帮人在这个问题上纠结了好长时间。如果你想在云端运行,需要在main方法中添加几行代码,代码附录如下:
Java代码 收藏代码
//在你的文件地址前自动添加:hdfs://master:9000/
conf.set("fs.default.name", "hdfs://master:9000/");
conf.set("hadoop.job.user","xiaolu");
//指定jobtracker的ip和端口号,master在/etc/hosts中可以配置
conf.set("mapred.job.tracker","master:9001");
(注:如果你运行的不是master上也有的项目,比如自己实现的pagerank,那会报错如下:)
Java代码 收藏代码
java.lang.RuntimeException: java.lang.ClassNotFoundException: *.PRMapper
这时会报找不到Mapper类的错。呵呵,这个问题也卡了我们好长时间。我们分析:可能是没有将项目打包,导致云上没有mapreduce程序的缘故,我们尝试着将pagerank项目打成.jar文件,放在项目下,将main方法作出如下修改:
Java代码 收藏代码
//将Configuration类换成JobConf类
JobConf conf = new JobConf();
//设置jar
conf.setJar("pagerank.jar");
这时运行java aplication ,呵呵,结果我们成功地将作业提交到了云端。(在浏览器中浏览:master:50030)
方案三:采用eclipse的插件实现项目的提交
前提:在eclipse中成功地安装mapreduce插件。
不过需要提醒各位的是:hadoop-0.20.203.0版本自带的插件不够完整,需要作出如下修改:
1、将HADOOP_HOME/lib目录下的
commons-configuration-1.6.jar , commons-httpclient-3.0.1.jar ,
commons-lang-2.4.jar , jackson-core-asl-1.0.1.jar 和
jackson-mapper-asl-1.0.1.jar
等5个包复制到hadoop-eclipse-plugin-0.20.203.0.jar的lib目录下。
2、然后,修改该包META-INF目录下的MANIFEST.MF,将classpath修改为以下内容:
Java代码 收藏代码
Bundle-ClassPath:
classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar
(注:这样就完成了对hadoop-eclipse-plugin-0.20.203.0.jar的修改。如果还有其它的问题,比如Map/Reduce
Locations下添加一个Location不能弹出添加对话框,这是eclipse版本的问题,我建议大家采用eclipse的版本是:eclipse-java-indigo-SR1-linux-gtk.tar.gz。)
提交过程:
1、不用手动将项目打成jar包,run on Hadoop就OK了。呵呵~
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14