ClassNotFoundException in Hadoop

Question

Verwenden von Hadoop mapreduce Ich schreibe Code, um Teilstrings unterschiedlicher Länge zu erhalten. Beispiel angegebene Zeichenfolge "ZYXCBA" und Länge 3. Mein Code muss alle möglichen Zeichenfolgen der Länge 3 ("ZYX", "YXC", "XCB", "CBA"), Länge 4 ("ZYXC", "YXCB") "XCBA") schließlich die Länge 5 ("ZYXCB", "YXCBA").

In Karte Phase habe ich folgende:

key = Länge des Teils Ich mag

value = "ZYXCBA".

So Mapper Ausgang ist

3,"ZYXCBA" 
4,"ZYXCBA" 
5,"ZYXCBA" 

In reduziere ich String nehmen ("ZYXCBA") und die Taste 3 alle Substrings der Länge 3. Das Gleiche gilt für 4,5 tritt zu erhalten. Die Ergebnisse werden in einer ArrayList gesammelt.

ich meinen Code bin mit folgendem Befehl:

hduser@Ganesh:~/Documents$ hadoop jar Saishingles.jar hadoopshingles.Saishingles Behara/Shingles/input Behara/Shingles/output 

Mein Code ist unten ::

package hadoopshingles; 

import java.io.IOException; 

import java.util.ArrayList; 

import org.apache.hadoop.fs.Path; 

import org.apache.hadoop.io.IntWritable; 

import org.apache.hadoop.io.Text; 

import org.apache.hadoop.mapreduce.Mapper; 

import org.apache.hadoop.mapreduce.Reducer; 

import org.apache.hadoop.conf.Configuration; 

import org.apache.hadoop.mapreduce.Job; 

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; 


public class Saishingles{ 

public static class shinglesmapper extends Mapper<Object, Text, IntWritable, Text>{ 

     public void map(Object key, Text value, Context context 
       ) throws IOException, InterruptedException { 

      String str = new String(value.toString()); 
      String[] list = str.split(" "); 
      int index = Integer.parseInt(list[0]); 
      String val = list[1]; 
      int length = val.length(); 
      for(int i = index; i <= length; i++) 
      { 
       context.write(new IntWritable(index),new Text(val)); 
      }  
     } 

    } 


public static class shinglesreducer extends Reducer<IntWritable,Text,IntWritable,ArrayList<String>> { 
    private ArrayList<String> result = new ArrayList<String>(); 

    public void reduce(IntWritable key, Text value, Context context 
      ) throws IOException, InterruptedException { 
     String str = new String(value.toString()); 
     int newkey = key.get(); 
     int Tz = str.length() - newkey + 1; 
     int position = 0; 
     while (position <= Tz) 
     { 
      result.add(str.substring(position,position + newkey -1)); 
      position = position + 1; 
     } 
     context.write(new IntWritable(newkey),result); 
    } 
} 





public static void main(String[] args) throws Exception { 

     Configuration conf = new Configuration(); 
     Job job = Job.getInstance(conf, "Saishingles"); 
     job.setJarByClass(hadoopshingles.Saishingles.class); 
     job.setMapperClass(shinglesmapper.class); 
     job.setCombinerClass(shinglesreducer.class); 
     job.setReducerClass(shinglesreducer.class); 
     job.setMapOutputKeyClass(IntWritable.class); 
     job.setMapOutputValueClass(Text.class); 
     job.setOutputKeyClass(IntWritable.class); 
     job.setOutputValueClass(ArrayList.class); 
     FileInputFormat.addInputPath(job, new Path(args[0])); 
     FileOutputFormat.setOutputPath(job, new Path(args[1])); 
     System.exit(job.waitForCompletion(true) ? 0 : 1); 

} 

} 

es gibt die folgende Fehlermeldung wie folgt:

Exception in thread "main" java.lang.ClassNotFoundException: hadoopshingles.Saishingles 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366) 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358) 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Class.java:278) 
    at org.apache.hadoop.util.RunJar.run(RunJar.java:214) 
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136) 

bitte helfen ich und danke im Voraus :)

Answer 1

Ich glaube, Sie sollten nicht ". Klasse" in den Klassennamen enthalten.

Statt

job.setJarByClass (hadoopshingles.Saishingles.class);

sollte

job.setJarByClass (hadoopshingles.Saishingles) sein;