0
Können wir immer 1 RDD pro Mikrobatch erwarten? Oder hängt das von der Anzahl der Empfänger ab? Wie können wir die Sortierung garantieren?RDDs und SPARK Streaming Microbatches
A
Antwort
1
- Ein einzelnes Microbatch ist immer ein RDD. Es hängt nicht von der Anzahl der Empfänger ab.
- Um eine bestimmte Batch-Bestellung zu gewährleisten, können Sie
stream.transform(_.someMethodThatSortsRDD)verwenden.
Verwandte Themen
- 1. RDD-Partitionierung in Spark Streaming
- 2. Apache Spark - Kreuzung mehrerer RDDs
- 3. Spark RDDs - wie funktionieren sie?
- 4. Wie RDDs in Spark Shell?
- 5. Spark Streaming Union Stream - Parallelisierung
- 6. In-Order-Verarbeitung in Spark Streaming
- 7. Spark-Streaming und Kafka-Integration
- 8. Spark-Streaming und Kafka-Integration
- 9. Spark Streaming und hohe Verfügbarkeit
- 10. Spark-Streaming-Streaming aktiv Zählung
- 11. Spark Streaming HiveContext NullPointerException
- 12. Kombination von 2 RDDs in Python Spark
- 13. Fusion Spark RDDs von schlechten JSON
- 14. Scalaz-Typklassen für Apache Spark-RDDs
- 15. Apache Spark RDD-Filter in zwei RDDs
- 16. Kafka Spark-Streaming-Integration
- 17. Spark Streaming Kafka Gegendruck
- 18. Pause Spark Streaming Job
- 19. Batchgröße in Spark Streaming
- 20. Spark Streaming XML-Dateien
- 21. Streaming Kmeans Spark JAVA
- 22. Zählen mit Spark Streaming
- 23. Spark-Streaming-Job Leistungsverbesserung
- 24. Spark Streaming benutzerdefinierte Metriken
- 25. Spark Streaming Replay
- 26. Herunterfahren von Spark Streaming
- 27. Wohin fließt Spark Streaming?
- 28. Persisting Spark-Streaming Ausgabe
- 29. Spark-Streaming UpdateStateByKey
- 30. NoClassDefFound Ausnahme Spark-Streaming
Was passiert, wenn es einen Schluckauf und eine Verzögerung gibt? Beim nächsten Aufruf könnte es nicht 2 RDDS geben? – thebluephantom
Es wird nicht passieren. Chargen werden immer in der Reihenfolge verarbeitet. Wenn einer noch in Bearbeitung ist, wird kein anderer Batch aus demselben Stream gestartet. –