0
Mein Cloud Dataflow-Job hängt.Cloud Dataflow BQ-Ausgabe hängt Job für TLS-Handshake-Fehler ab
Pipeline:
Pipeline p = Pipeline.create(options);
p.apply(TextIO.Read.named("ReadFiles").from(options.getInputFile()).withCompressionType(CompressionType.GZIP))
.apply(new ProcessRecords(eventType))
.apply(BigQueryIO.Write.to(options.getOutput()).withSchema(options.getBigQuerySchema())
.withCreateDisposition(BigQueryIO.Write.CreateDisposition.CREATE_NEVER)
.withWriteDisposition(BigQueryIO.Write.WriteDisposition.WRITE_TRUNCATE));
p.run();
Vom Arbeiter alle loggen ich sehen kann, ist
Kubelet is healthy?: true
TLS handshake error from 172.17.0.2:41759: EOF
shutdown[7231]: shutting down for system halt
die gleiche Arbeit, wenn ich Ausgang mit einem GCS es funktioniert Datei.
JobID: 2016-12-28_15_23_54-4009520083656203603
Ich habe dies mehrere Male versucht, aber jedes Mal ist es das gleiche Problem.
Warum denken Sie, dass der Job hängt? Ich schaute auf die Protokolle und es scheint, als ob es einige Minuten dauerte, Daten nach BigQuery zu importieren, wenn sie vom Benutzer abgebrochen wurden. Hast du versucht, länger darauf zu warten, dass es fertig ist? – jkff
Das "Herunterfahren" ist normaler Betrieb. Der Datenfluss hat Ihre Mitarbeiter während des BigQuery-Importjobs heruntergefahren, um keine Ressourcen zu verschwenden. – jkff
@jktf Ich habe w8 für wie 5-10 Minuten und dann abgebrochen. Muss ich länger w8? Wird es wieder laufen – Atrix1987