Gerade diese Fehlermeldung bekommen:Datenfluss scheint zu festzustecken
(941d0d42ab1c3aec): Workflow fehlgeschlagen. Ursachen: (941d0d42ab1c3675): Der Datenfluss scheint blockiert zu sein. Bitte wenden Sie sich an das Dataflow-Team unter http://stackoverflow.com/questions/tagged/google-cloud-dataflow.
bitte helfen.
Vielen Dank für die Freigabe der Job-ID. Aus den Stackdriver-Protokolle, wie ich sehe, dass Arbeiter VMs Start nicht gestartet becuase sie den Behälter Bild holen von Docker nicht in der Lage waren:
Handler for GET /v1.23/images/dataflow.gcr.io/v1beta3/beam-java-batch:beam-0.6.0/json returned error: No such image: dataflow.gcr.io/v1beta3/beam-java-batch:beam-0.6.0
EDIT: Nach einer weiteren Inspektion, kann ich sehen, es gibt keine inszenierten Gläser für die Arbeit. Es scheint, dass die stagingFiles mit nur einer CSV-Datei überschrieben werden: header_H-[..].csv.
Wenn Sie die Option getFilesToStage() angeben, müssen Sie auch die vollständige Liste der JAR-Dateien einschließen, die für die Ausführung Ihrer Pipeline erforderlich sind. Sie können sehen, wie die DataflowRunner dies in detectClassPathResourcesToStage(classLoader) tut.
Als Nebenwirkung wird unter Verwendung dieser Pipeline den Datenfluss SDK 0.6, die derzeit veraltet. Die neueste 1.x-Version ist 1.9.1, oder Sie können auf 2.1.0 aktualisieren, die auf Apache Beam basiert.
Ja, ich kann alles liefern, was Sie über diese Pipeline wissen müssen, lassen Sie mich wissen, welche Details Sie benötigen. Es gibt keine Firewall-Konfiguration oder irgendetwas, von dem ich weiß, dass es den Zugriff auf Docker-Images blockiert. In Bezug auf SDK 0.6, habe ich zwei Fragen: 1) ist es immer noch zu verwenden 2) Ich habe das Problem, irgendetwas mit Version> 0.6 auf meinem lokalen Rechner zu laufen, wo ich mein Programm lokal debuggen. – bignano
Ich habe einige andere Dataflow-Ingenieure gefragt, und es scheint, dass VMs beschädigt werden können und nicht von Zeit zu Zeit hochlaufen. Tritt das Problem immer noch auf, wenn Sie den Job erneut ausführen? –
Für Ihre Fragen zum Upgrade von 0.6: 1) Ja, 1.6.0 ist veraltet, aber immer noch verfügbar, um Jobs auszuführen. Die Version 1.6.0 weist bekannte Probleme mit dem Datenverlust bei komprimierten Quellen auf. Daher wird dringend empfohlen, ein Upgrade durchzuführen. Siehe: https://cloud.google.com/dataflow/release-notes/release-notes-java-1 Wenn bei der Aktualisierung Probleme auftreten, starten Sie eine neue Frage. –
Job ID: 2017-09-11_07_13_42-2005096921586938573 – bignano