Angenommen, 2 Streaming von Funken gegeben und eine der Streaming ist nicht 100% synchron. Es kann einen Unterschied beim Streaming geben. Wir müssen Streaming per Schlüssel beitreten. Gibt es einen Weg, wie wir es ohne etwas Hartnäckiges schaffen können?Beitreten Streaming basierend auf Schlüssel - Spark/Kafka
Ich glaube nicht, dass es möglich ist, Kafka Streams mit eingebauter Unterstützung die Daten in einem Kafka-Thema als eine solche kontinuierlich aktualisierte Tabelle zu interpretieren. Bei Kafka Streams DSL wird dies über die sogenannten Ktable
KTables erreicht, die in Kafka Streams von state stores unterstützt werden. Diese Statusspeicher sind lokal für Ihre Anwendung (genauer gesagt: sie sind lokal für die Instanzen Ihrer Anwendung, von denen es eine oder mehrere geben kann), was bedeutet, dass die Interaktion mit diesen Zustandsspeichern kein Sprechen über das Netzwerk erfordert, also lesen und Schreibvorgänge sind sehr schnell. Wenn Sie sich entschieden haben, Daten nicht zu behalten, verlieren Sie möglicherweise Informationen, die Sie vielleicht nicht wollen.
Was meinen Sie mit nicht 100% synchron, meinst du sie haben Verzögerungen zwischen ihnen? – marvel308
von persistent meinst du speichern in einem state store? – marvel308
@ marvel308 ja. Es kann sich um eine Verzögerung von wenigen Sekunden handeln, und der persistente Mittelwert wird in einem externen Speicher oder ohne Zwischenspeicherung gespeichert –