apache-beam

0Hitze

1Antwort

kann PCollection mit Typ Map nicht transformieren - "falsche Anzahl von Argumenten"

Ich versuche, eine Transformation auf eine PCollection von Map-Objekten in Apache Beam mit ParDo anzuwenden. Ich habe Map als Ausgabetyp des ersten DoFn angegeben und Map als Eingabetyp des nächsten D

0Hitze

1Antwort

Apache Beam - Sliding Windows Ausgabe mehrerer Fenster

Ich nehme eine PCollection von Sitzungen und versuche, durchschnittliche Sitzungsdauer pro Kanal/Verbindung zu erhalten. Ich mache etwas, wo meine frühen Auslöser für jedes produzierte Fenster feuern

-1Hitze

1Antwort

Große Datenverarbeitung in Java

Ich arbeite an einem Projekt, wo ich irgendwo 10 Dateien mit einer Größe von jeweils 200 GB erhalte. Meine Projektanforderung besteht darin, Daten aus jeder Datei zu extrahieren und die Verbindung mit

0Hitze

2Antwort

Verwenden von ValueProvider <Long> mit FixedWindows und Dauer

In Richtung Apache Beam 2.x, möchte ich Vorlagen so viel wie möglich und ValueProvider entsprechend verwenden. In meiner Logik verwende ich ein FixedWindow, aber die Dauer ist flexibel, also bekomme i

1Hitze

1Antwort

Apache Beam: PTransform vs PValue

Gegeben PTransform<PCollection<X>, PCollection<Y>> für beliebige Art X und Y. Was genau ist Transformieren und was genau ist PValue für dieses Beispiel? Definiert PValue einen letzten Eckpunkt in eine

0Hitze

1Antwort

Apache Beam -BigQueryIO mit Apex-Runner

Schreiben von Daten in Apache-Tabellen mit Apex/Spark Runner. Beim Ausführen des Programms mit dem Apex-Runner wird jedoch eine Ausnahme angezeigt. List<TableFieldSchema> fields = new ArrayList<>();

0Hitze

1Antwort

Apache Strahl KafkaIO Offset-Management zu externen Daten speichert

Ich versuche, von mehreren Kafka-Broker mit KafkaIO auf Apache Strahl lesen. Die Standardoption für das Offset-Management ist die Kafka-Partition selbst (nicht mehr zookeper von kafka> 0.9). Bei diese

0Hitze

1Antwort

So lösen Sie eine E-Mail aus, nachdem der Datenflussjob zu einem bestimmten Zeitintervall abgeschlossen wurde

Ich habe einen Google Cloud-Datenflussjob, der in bestimmten Zeitintervallen ausgelöst wird. Ich muss eine E-Mail auslösen, nachdem der Datenflussjob mit dem Status des Jobs an eine bestimmte E-Mail-I

1Hitze

2Antwort

Bulk-Daten aus einer Datenbank lesen mit Apache Beam

Ich würde gerne wissen, wie JdbcIO eine Abfrage parallel ausführen würde, wenn meine Abfrage Millionen von Zeilen zurückgibt. Ich habe https://issues.apache.org/jira/browse/BEAM-2803 und die zugehörig

0Hitze

1Antwort

Dataflow 2.x beschwert sich über falschen Parametertyp bei Aufruf von PCollectionTuple.apply()

Ich migriere eine vorhandene Pipeline zu Datenfluss 2.x. Während der letzten Phase der Pipeline werden Daten an Google Cloud Services gesendet. Die Daten müssen auf .gz komprimiert werden, und zuvor h