Split Topic Data

Ich möchte ein Thema in mehrere Themen aufteilen, basierend auf bestimmten Feldern in den Daten. Gibt es eine Möglichkeit, solche Operationen im Streaming selbst durchzuführen?Split Topic Data

Oder sollte ich einen typischen Verbraucher und Hersteller schreiben?

Beispiel:

Eingangs Topic: Daten mit Attributen A (Werte AAA, BBB, CCC), B, C, D und E

Output Topics: 3 Themen mit dem Namen AAA, BBB und CCC mit den gleichen Daten wie in Eingangs Topic

freundlichen Grüßen Lukas

Quelle

2017-09-22 Lukas

Mögliches Duplikat von [Dynamische Verbindung eines Kafka-Eingabestreams mit mehreren Ausgabeströmen] (https://stackoverflow.com/questions/41796207/dynamicly-connecting-a-kafka-input-stream-to-multiple-output-streams) –

Sie können branch() method in Ihrem Stream verwenden, um sich in mehrere Streams aufzuteilen. Dann kann jeder Stream in ein eigenes Thema schreiben.

Quelle

2017-09-22 10:51:40

Ich möchte dynamisch in mehrere Streams aufgeteilt werden, daher ist es nicht möglich, die Branch-Methode zu verwenden, da ich die Split-Kriterien vorher kennen sollte. Ich muss den eingehenden Stream in Hunderte anderer Streams aufteilen. Ich denke, ich kann nur den Verbraucher und den Produzenten dazu benutzen. – Lukas

Hallo Lukas, soweit ich Streams kenne, könntest Du solches Verhalten nur mit eigenen Consumer-Producer-Pairs archivieren. Schauen Sie sich auch Low-Level-API von Streams, möglicherweise in Senken-Prozessor können Sie die benötigte Funktionalität definieren. –

Split Topic Data

Antwort

Verwandte Themen