1
Ich habe einen Batch-Datenfluss-Job, der mehrere Instanzen von java.lang.RuntimeException: unexpected in den Protokollen hat."java.io.IOException: INTERNAL" Ausnahmen verursacht Pipeline fehlschlagen
Graben tiefer, sah ich es ein paar verschiedene Ausnahmen waren:
java.io.IOException: INTERNAL: Detected non-monotonic keys.java.io.IOException: INTERNAL: Corruption: block checksumjava.io.IOException: INTERNAL: Corruption: bad entry in blockjava.io.IOException: DATA_LOSS: record checksum mismatch
Ich glaube, dies ist nur ein ein- sein kann aus Bug, aber ich weiß nicht, den bevorzugten Ort zu Repo rt solche Probleme, also poste ich hier für Sichtbarkeit.
die Job-ID ist 2017-01-26_13_26_59-15900546489513181319
Hallo, ich frage mich, ob Sie bitte ein bisschen mehr Informationen zur Verfügung stellen, um uns zu helfen, dieses Problem zu lösen. Laden Ihre Jars einen nativen/JNI-Code? Haben Sie eine zuverlässige Möglichkeit, diesen Fehler zu reproduzieren? –
Hallo Alex, wir erweiterten 'FileBasedSink.FileBasedWriter', um in einen GZIPOutputStream zu schreiben. Ich habe keine zuverlässige Möglichkeit, diesen Fehler zu reproduzieren, ich habe diese Pipeline aus verschiedenen Quellen über 300 Mal gelesen und habe nur diese internen Fehler in diesem Job gesehen. Die einzige Ähnlichkeit zwischen diesem Fehler und anderen fehlgeschlagenen Jobs (<10 insgesamt) war das Vorhandensein dieser Ausnahme: 'java.lang.RuntimeException: java.io.IOException: INTERNAL: Schreiben abgelehnt (Schreib-ID nicht gefunden)'. – Thang
Außerdem habe ich diesen Job mit den gleichen Parametern erneut ausgeführt und es ist dieses Mal gelungen. – Thang