Ich versuche herauszufinden, ob Kinesis Integration mit Spark Structured Streaming ist stabil. AWS Big Data Blog hat kaum einen Blog über Kinesis und Spark Structured Streaming. Würde es lieben zu wissen, wenn jemand von Ihnen Spark Structured Streaming mit versucht? Wenn ja, hast du es stabil gefunden?Spark Structured Streaming Integration mit Kinesis
Es gibt derzeit kein Paket, um Kinesis als Quelle für strukturiertes Streaming zu verwenden. Databricks has it, aber es ist nicht mit Spark veröffentlicht. Es gibt ein third party integration, aber als der Entwickler es ausdrückt: „Das ist nur ein Prototyp Machbarkeit für die Kinesis Integration zu überprüfen“
Als Abhilfe kann und je nach Ihren Anforderungen können Sie ein „gutes altes“ Funken-Streaming erstellen/Kinesis-Integration und nur die Daten in einen Ordner ausgeben. Verwenden Sie dann diesen folder as source für Ihren strukturierten Streaming-Prozess.