Es ist Freitag, ich bin super müde, und ich war gegen ein wirklich seltsames Problem.Hadoop: Steuerzeichen in der Ausgabe inspirierende Kompression
In meinem Reducer habe ich eine Textausgabe. Es enthält eine Zeichenfolge mit einem benutzerdefinierten Trennzeichen, das beim nächsten MapReduce-Job aufgeteilt wird.
Ich dachte, ich wäre schlau, das Trennzeichen, das ich verwendete, war ein Steuerzeichen, U + 0002.
Bei der Ausgabe wurde die Datei komprimiert. Es wurde nicht komprimiert, bevor ich etwas aufspaltete. Ich muss ganz speziell die Kompression aus eigenen Gründen vermeiden. Ich habe versucht, die Komprimierung manuell zu deaktivieren, aber ohne Erfolg. Ich war sehr frustriert für ungefähr eine Stunde oder zwei, die alles versuchten, was ich denken konnte.