当前位置: 代码迷 >> 数据仓库 >> oozie hadoop 相干
  详细解决方案

oozie hadoop 相干

热度:674   发布时间:2016-05-05 15:43:52.0
oozie hadoop 相关
在oozie 运行hadoop自带实例WordCount时。报以下错误。
直接通过命令是可以运行这个WordCount的。


2014-05-04 04:05:50,951 INFO org.apache.hadoop.util.NativeCodeLoader: Loaded the native-hadoop library
2014-05-04 04:05:51,715 INFO org.apache.hadoop.mapred.TaskRunner: Creating symlink: /usr/hadoop/tmp/mapred/local/taskTracker/distcache/-2155048171875746335_983025284_1221947130/192.168.201.132/user/apps/wordcount/lib/workflow.xml~ <- /usr/hadoop/tmp/mapred/local/taskTracker/root/jobcache/job_201405041029_0018/attempt_201405041029_0018_m_000000_2/work/workflow.xml~
2014-05-04 04:05:52,430 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists!
2014-05-04 04:05:52,716 INFO org.apache.hadoop.util.ProcessTree: setsid exited with exit code 0
2014-05-04 04:05:52,729 INFO org.apache.hadoop.mapred.Task:  Using ResourceCalculatorPlugin : [email protected]
2014-05-04 04:05:53,065 INFO org.apache.hadoop.mapred.MapTask: Processing split: hdfs://192.168.201.132:9000/user/in/wordin:0+64
2014-05-04 04:05:53,095 WARN org.apache.hadoop.io.compress.snappy.LoadSnappy: Snappy native library not loaded
2014-05-04 04:05:53,110 INFO org.apache.hadoop.mapred.MapTask: numReduceTasks: 1
2014-05-04 04:05:53,122 INFO org.apache.hadoop.mapred.MapTask: io.sort.mb = 100
2014-05-04 04:05:53,282 INFO org.apache.hadoop.mapred.MapTask: data buffer = 79691776/99614720
2014-05-04 04:05:53,282 INFO org.apache.hadoop.mapred.MapTask: record buffer = 262144/327680
2014-05-04 04:05:53,421 INFO org.apache.hadoop.mapred.TaskLogsTruncater: Initializing logs' truncater with mapRetainSize=-1 and reduceRetainSize=-1
2014-05-04 04:05:53,773 INFO org.apache.hadoop.io.nativeio.NativeIO: Initialized cache for UID to User mapping with a cache timeout of 14400 seconds.
2014-05-04 04:05:53,773 INFO org.apache.hadoop.io.nativeio.NativeIO: Got UserName hadoop for UID 1000 from the native implementation
2014-05-04 04:05:53,823 WARN org.apache.hadoop.mapred.Child: Error running child
java.lang.RuntimeException: Error in configuring object
at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:93)
at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:64)
at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:426)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:366)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:88)
... 9 more
Caused by: java.lang.RuntimeException: java.lang.RuntimeException: class org.apache.hadoop.examples.WordCount not org.apache.hadoop.mapred.Mapper
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:889)
at org.apache.hadoop.mapred.JobConf.getMapperClass(JobConf.java:968)
at org.apache.hadoop.mapred.MapRunner.configure(MapRunner.java:34)
... 14 more
Caused by: java.lang.RuntimeException: class org.apache.hadoop.examples.WordCount not org.apache.hadoop.mapred.Mapper
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:883)
... 16 more
2014-05-04 04:05:53,850 INFO org.apache.hadoop.mapred.Task: Runnning cleanup for the task

------解决方案--------------------