MR Job Strings langen Linien anhängen nach einem Schlüssel

Question

Meine Daten:

ABC|value x|value y 
CDE|value n|value m 
GHI|value h|value i 
ABC|value o|value p 
CDE|value f|value g 

ich diese Ausgabe benötigen:

ABC: (value x, value y), (value o, value p) 
CDE: (value n, value m), (value f, value g) 
GHI: (value h, value i) 

Mein Verständnis ist, an der Mapper, dass ich den Eingang aufgeteilt sollte in Schlüssel-Wert-Paare wie folgt:

"value x|value y"    ABC 
"value n|value m"    CDE 

Aber ich bin am Reducer stecken - irgendwelche Ideen?

Answer 1

OK, ich habe es herausgefunden.

Der Mapper soll dies tatsächlich produziert:

ABC    "value x|value y"    
CDE    "value n|value m"    

Und dann, im Minderer - dass Hadoop zu wissen, durch Tasten Standard Sorten - wir können das Hinzufügen nachfolgende Werte zu einem Schlüssel if key == next key einfache Logik verwenden.