当前位置: 代码迷 >> 综合 >> 【Mapreduce】从代码上解决Output directory already exists错误
  详细解决方案

【Mapreduce】从代码上解决Output directory already exists错误

热度:51   发布时间:2023-12-13 16:37:02.0

Mapreduce调试很蛋疼的,它不会覆盖上一次输出的结果,如果发现输出文件夹已经存在,比如我的调试输出文件夹是hdfs://192.168.230.129:9000/output,它会直接给你报如下错误:

[plain] view plaincopy
print?
  1. Exception in thread “main” org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://192.168.230.129:9000/output already exists  
  2.     at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:123)  
  3.     at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:770)  
  4.     at org.apache.hadoop.mapreduce.Job.submit(Job.java:432)  
  5.     at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:447)  
  6.     at MyMapReduce.main(MyMapReduce.java:65)  
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://192.168.230.129:9000/output already existsat org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:123)at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:770)at org.apache.hadoop.mapreduce.Job.submit(Job.java:432)at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:447)at MyMapReduce.main(MyMapReduce.java:65)

如下图所示:


当然,错误很明了,就是输出文件夹已存在。

不过网上有写很坑爹的教程,表示解决这个错误,要自己手动删除输出文件夹。

这很蛋疼,无论你这次调试成功还是报错与否,都要先刷新HDFS,再删除,再运行程序:


这是何其地蛋疼啊!其实可以在代码上利用hdfs的文件操作,解决这个问题。思想就是在代码运行之前,也就是提交作业之前,判断output文件夹是否存在,如果存在则删除。具体代码如下:

[java] view plaincopy
print?
  1. import java.io.IOException;  
  2. import java.util.StringTokenizer;  
  3. import org.apache.hadoop.conf.Configuration;  
  4. import org.apache.hadoop.fs.FileSystem;  
  5. import org.apache.hadoop.fs.Path;  
  6. import org.apache.hadoop.io.IntWritable;  
  7. import org.apache.hadoop.io.Text;  
  8. import org.apache.hadoop.mapreduce.Job;  
  9. import org.apache.hadoop.mapreduce.Mapper;  
  10. import org.apache.hadoop.mapreduce.Reducer;  
  11. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
  12. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  13. import org.apache.hadoop.util.GenericOptionsParser;  
  14.   
  15. public class MyMapReduce {  
  16.   
  17.     public static class MyMapper extends  
  18.             Mapper<Object, Text, Text, IntWritable> {  
  19.         private final static IntWritable one = new IntWritable(1);  
  20.         private Text word = new Text();  
  21.   
  22.         public void map(Object key, Text value, Context context)  
  23.                 throws IOException, InterruptedException {  
  24.             StringTokenizer itr = new StringTokenizer(value.toString());  
  25.             while (itr.hasMoreTokens()) {  
  26.                 word.set(itr.nextToken());  
  27.                 context.write(word, one);  
  28.             }  
  29.         }  
  30.     }  
  31.   
  32.     public static class MyReducer extends  
  33.             Reducer<Text, IntWritable, Text, IntWritable> {  
  34.         private IntWritable result = new IntWritable();  
  35.   
  36.         public void reduce(Text key, Iterable<IntWritable> values,  
  37.                 Context context) throws IOException, InterruptedException {  
  38.             int sum = 0;  
  39.             for (IntWritable val : values) {  
  40.                 sum += val.get();  
  41.             }  
  42.             result.set(sum);  
  43.             context.write(key, result);  
  44.         }  
  45.     }  
  46.   
  47.     public static void main(String[] args) throws Exception {  
  48.         Configuration conf = new Configuration();  
  49.   
  50.         String[] otherArgs = new GenericOptionsParser(conf, args)  
  51.                 .getRemainingArgs();  
  52.         if (otherArgs.length != 2) {  
  53.             System.err.println(”Usage: wordcount <in> <out>”);  
  54.             System.exit(2);  
  55.         }  
  56.         Job job = new Job(conf);  
  57.         job.setMapperClass(MyMapper.class);  
  58.         job.setReducerClass(MyReducer.class);  
  59.         job.setOutputKeyClass(Text.class);  
  60.         job.setOutputValueClass(IntWritable.class);  
  61.   
  62.         // 判断output文件夹是否存在,如果存在则删除  
  63.         Path path = new Path(otherArgs[1]);// 取第1个表示输出目录参数(第0个参数是输入目录)  
  64.         FileSystem fileSystem = path.getFileSystem(conf);// 根据path找到这个文件  
  65.         if (fileSystem.exists(path)) {  
  66.             fileSystem.delete(path, true);// true的意思是,就算output有东西,也一带删除  
  67.         }  
  68.   
  69.         FileInputFormat.addInputPath(job, new Path(otherArgs[0]));  
  70.         FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));  
  71.         System.exit(job.waitForCompletion(true) ? 0 : 1);  
  72.     }  
  73.   
  74. }  
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;public class MyMapReduce {public static class MyMapper extendsMapper<Object, Text, Text, IntWritable> {private final static IntWritable one = new IntWritable(1);private Text word = new Text();public void map(Object key, Text value, Context context)throws IOException, InterruptedException {StringTokenizer itr = new StringTokenizer(value.toString());while (itr.hasMoreTokens()) {word.set(itr.nextToken());context.write(word, one);}}}public static class MyReducer extendsReducer<Text, IntWritable, Text, IntWritable> {private IntWritable result = new IntWritable();public void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {int sum = 0;for (IntWritable val : values) {sum += val.get();}result.set(sum);context.write(key, result);}}public static void main(String[] args) throws Exception {Configuration conf = new Configuration();String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();if (otherArgs.length != 2) {System.err.println("Usage: wordcount <in> <out>");System.exit(2);}Job job = new Job(conf);job.setMapperClass(MyMapper.class);job.setReducerClass(MyReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);// 判断output文件夹是否存在,如果存在则删除Path path = new Path(otherArgs[1]);// 取第1个表示输出目录参数(第0个参数是输入目录)FileSystem fileSystem = path.getFileSystem(conf);// 根据path找到这个文件if (fileSystem.exists(path)) {fileSystem.delete(path, true);// true的意思是,就算output有东西,也一带删除}FileInputFormat.addInputPath(job, new Path(otherArgs[0]));FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));System.exit(job.waitForCompletion(true) ? 0 : 1);}}

关键就是如下这4行:

[java] view plaincopy
print?
  1. // 判断output文件夹是否存在,如果存在则删除  
  2. Path path = new Path(otherArgs[1]);// 取第1个表示输出目录参数(第0个参数是输入目录)  
  3. FileSystem fileSystem = path.getFileSystem(conf);// 根据path找到这个文件  
  4. if (fileSystem.exists(path)) {  
  5.     fileSystem.delete(path, true);// true的意思是,就算output有东西,也一带删除  
  6. }  
// 判断output文件夹是否存在,如果存在则删除
Path path = new Path(otherArgs[1]);// 取第1个表示输出目录参数(第0个参数是输入目录)
FileSystem fileSystem = path.getFileSystem(conf);// 根据path找到这个文件
if (fileSystem.exists(path)) {fileSystem.delete(path, true);// true的意思是,就算output有东西,也一带删除
}

教会Mapreduce这SB覆盖上一次运行结果,别只会在这报错!


转自yongh701的博客:http://blog.csdn.net/yongh701/article/details/50601811

  相关解决方案