Ein Flink-Dataset durch Schlüssel in Vielfache aufteilen und in separate Dateien schreiben

Question

Ich möchte meine DataSet<Tuple2<Integer, Point>> in n DataSets nach dem Integer-Wert des Tuple2 teilen.

Derzeit filtere ich im Grunde die Datei n-mal und speichern jedes Ergebnis in einer separaten Datei. Ich hätte lieber einen schöneren und variableren Weg. Auch das scheint die Fähigkeiten von Flink nicht auszunutzen.

Lassen Sie mich wissen, wenn Sie weitere Informationen benötigen.

Answer 1

Der üblicher Weg Datensätze aufgeteilt ist Filter auf dem Eingabedatensatz zu verwenden, wie hier beschrieben:

Dataset split/demultiplex in Flink mailing list

Soweit ich weiß, gibt es keinen Operator ist, das wäre die Aufgabe der Spaltung tun wie du es machen willst. Wie in der Antwort gesagt, "sollte der Aufwand vernünftig sein. Die Daten bleiben auf dem gleichen Knoten und der Filter kann sehr leicht sein."