博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Idea里面老版本MapReduce设置FileInputFormat参数格式变化
阅读量:6434 次
发布时间:2019-06-23

本文共 726 字,大约阅读时间需要 2 分钟。

我们随便百度一个经典的MapReduce程序----wordcount的时候,在设置job文件输入路径和输出路径参数时,会看到别的博主会这么写:

Configuration conf = new Configuration();Job wordCountJob = Job.getInstance(conf);//省略。。。。FileInputFormat.setInputPaths(wordCountJob,"hdfs://192.168.77.70:9000/wordcount/srcdata/");FileOutputFormat.setOutputPath(wordCountJob, new Path("hdfs://192.168.77.70:9000/wordcount/output/"));

但是我在Idea里面复制粘贴编译时,其实是报错的。这是因为,我导的是老版本的包,但是也能运行,代码要稍作修改,它在版本中要求FileInputFormat调用的方法名是addInputPath且第一个参数是JobConf型,同样FileOutputFormat调用的输出名是setOutputPath,参数也是JobConf型。所以这个时候要进行强转,具体做法如下:

FileInputFormat.addInputPath((JobConf)wordCountJob.getConfiguration(),new Path(args[0]));     FileOutputFormat.setOutputPath((JobConf)wordCountJob.getConfiguration(),new Path(args[1]));

转载地址:http://hhhga.baihongyu.com/

你可能感兴趣的文章
功能表单之树形选择字段类型的高级使用——JEPLUS软件快速开发平台
查看>>
servlet监听器
查看>>
查看mysql进程--show processlist
查看>>
我的友情链接
查看>>
openstack之windows2003/08系统qcow2制作
查看>>
Web游戏开发编程:最神奇的“触觉振动”
查看>>
UTF8 匹配汉字,字母,数字
查看>>
mongodb复制集部署
查看>>
Install gevent in AIX with gcc
查看>>
栈与队列
查看>>
Java 8 中的工厂方法模式
查看>>
SQL语句字符串处理大全
查看>>
backtrack5局域网通信软件——信使
查看>>
安装Apache2.4.23
查看>>
设计模式(创建型)之原型模式
查看>>
android launcher 相关
查看>>
This Android SDK requires An... ADT to the late...
查看>>
报错:failed to get the task for process XXX(解决方案)
查看>>
使用自定义铃声
查看>>
spring mvc+junit
查看>>