Gibt es eine Möglichkeit in Spark, eine zwischengespeicherte RDD in einer anderen Anwendung (oder in einem anderen Lauf derselben Anwendung) erneut zu verwenden?Wiederverwenden eines zwischengespeicherten Spark RDD
1
A
Antwort
2
Nein, Spark RDD kann nicht in anderen Anwendungen oder in einem anderen Lauf verwendet werden.
Sie können Spark zum Beispiel mit Hazelcast oder Apache Ignite verbinden, um RDDs im Speicher zu speichern. Andere Anwendung wird die Möglichkeit haben, die in der ersten Anwendung gespeicherten Daten zu lesen
Verwandte Themen
- 1. Metadaten eines Spark DataFrame (RDD)
- 2. Spark-Liste all RDD Namen im Cache
- 3. Java Spark RDD in einer anderen RDD?
- 4. Spark RDD Datenauswahl
- 5. Apache Spark RDD-Workflow
- 6. Spark-RDD-Mapping Fragen
- 7. Spark RDD Probleme
- 8. Schemadefinition für Spark RDD
- 9. Spark RDD apend
- 10. Apache Spark RDD Aufteilen "|"
- 11. Spark RDD werfen NullPointerException
- 12. Spark-JSON Textfeld RDD
- 13. Apache Spark Rdd persistent
- 14. Spark RDD Lineage und Speicherung
- 15. RDD-Partitionierung in Spark Streaming
- 16. So testen Sie Spark RDD
- 17. Spark-Streaming-Kontext mit RDD
- 18. Etwas falsch mit Spark RDD
- 19. Iterieren durch eine Spark-RDD
- 20. RDD verwandeln sich in Spark-
- 21. Spark RDD dynamischen Schlüssel Generator
- 22. Spark RDD Lineage Graph Darstellung
- 23. Performing-Lookup/Übersetzung in einer Spark RDD oder Datenrahmen unter Verwendung eines anderen RDD/df
- 24. Zerlegen eines RDD [String] -Typs in RDD [String] -Typ Wörter (Scala, Apache Spark)
- 25. Apache Spark Convert Sammlung von RDD zu einzelnen RDD JAVA
- 26. Spark: Objekt-RDD aus Liste erstellen <Object> RDD
- 27. Ausnahme im Thread "Haupt" java.lang.NoClassDefFoundError: org/apache/spark/rdd/RDD
- 28. Spark Datarefame wird plötzlich sehr langsam, wenn ich die alten zwischengespeicherten Daten iterativ zu viel Zeit wiederverwenden
- 29. Konvertieren eines Scala Iterable [Tupel] zu RDD
- 30. Spark: RDD fehlende Einträge in jeder Iteration
Vielen Dank für die schnelle und gute Antwort! –