Wie kann ich die Anzahl der Zeilen, die eine bestimmte Zeichenfolge enthalten, im Schwein zählen?

Question

Angenommen, ich eine Gruppe von Zielwörter haben:

a b c d 

und eine Eingabedatei:

a d f s g e 
12399 
c a d i f 
a 2 

dann sollte ich zurück:

a 3 
b 0 
c 1 
d 2 

Wie kann ich in Schwein das tun? Vielen Dank!

Answer 1

Entfernen Sie zuerst die doppelten Wörter aus jeder Zeile und führen Sie dann die Wortzahl aus.
Pig Schritte:

REGISTER 'udf-1.0-SNAPSHOT.jar' 
define tuple_set com.ts.pig.UniqueRecords(); 
data = load '<file>' using PigStorage(); 

entfernen doppelte Wörter aus jeder Zeile

unique= foreach data generate tuple_set($0) as line; 
words= foreach unique generate flatten(TOKENIZE(line,' ')) as word; 
grouped = group words BY word; 
count= foreach grouped GENERATE group, COUNT(words); 
dump count; 

Pig UDF Beispielcode:

/** 
* This udf removes duplicate words from line 
*/ 
public class UniqueRecords extends EvalFunc<String> { 
    @Override 
    public String exec(Tuple tuple) throws IOException { 
     if (tuple == null || tuple.size() == 0) 
      return null; 
     String[] splits=tuple.get(0).toString().split(" "); 
     Set<String> elements = new HashSet<String>(Arrays.asList(splits)); 
     StringBuilder sb = new StringBuilder(); 
     for(String element:elements){ 
      sb.append(element+" "); 
     } 
     return sb.toString(); 
    } 
}