Ich wollte Funken-Streaming verwenden, um Ereignisse von Kafka verarbeiten und die Fensterbreite und Folie in Bezug auf die Anzahl der Nachrichten anstelle der Zeit zu setzen. Ist das möglich? Ich habe in der API dafür nichts Offensichtliches gesehen und stattdessen nur zeitbasierte Fensteroptionen gesehen.Spark Streaming Window Breite und Folie
0
A
Antwort
0
Das ist nicht möglich. Sie können nur die Fensterdauer festlegen.
0
Die nahe genug bekommt, was ich möchte: [Ausgabe ein Ereignis in einer Reihe von Nachrichten innerhalb eines bestimmten Zeitraums basiert] https://damieng.com/blog/2015/06/27/time-window-events-with-apache-spark-streaming
Verwandte Themen
- 1. Spark-Streaming-Streaming aktiv Zählung
- 2. Spark Window Funktionen - rangeBetween Daten
- 3. Kafka Spark-Streaming-Integration
- 4. Spark Streaming Kafka Gegendruck
- 5. Pause Spark Streaming Job
- 6. Batchgröße in Spark Streaming
- 7. Streaming Kmeans Spark JAVA
- 8. Zählen mit Spark Streaming
- 9. Spark Streaming benutzerdefinierte Metriken
- 10. Spark Streaming Replay
- 11. Herunterfahren von Spark Streaming
- 12. Persisting Spark-Streaming Ausgabe
- 13. Spark-Streaming UpdateStateByKey
- 14. NoClassDefFound Ausnahme Spark-Streaming
- 15. Spark-Streaming-Schema
- 16. Spark-Streaming-Fenster-Operation
- 17. Spark Streaming Akkumulierte Wortzählung
- 18. Spark streaming rawSocketStream
- 19. Spark Streaming Kafka Stream
- 20. Spark Streaming MYSql
- 21. Spark Streaming Model Overwrite
- 22. Spark Streaming - Filter dynamisch
- 23. Spark Streaming historischen Zustand
- 24. Spark Streaming verlieren SparkContext
- 25. Spark-Streaming Elasticsearch Abhängigkeiten
- 26. Spark Streaming GroupByKey und updateStateByKey Implementierung
- 27. Spark-Streaming-Checkpoints für DStreams
- 28. java Spark Streaming nach Cassandra
- 29. RDD-Partitionierung in Spark Streaming
- 30. Spark Streaming - Verarbeitung binärer Datendatei
Doppelte Frage. Bitte, siehe [diese] (http://stackoverflow.com/questions/36711439/spark-streaming-scala-window-length-by-number-of-objects/36711807#36711807) für Details. –