Kann mir jemand sagen, ob wir Datenrahmen in SparkR Liste konvertieren können. Ich bin mir bewusst, dass die Funktion collect() Ihnen dabei hilft. Es ist jedoch nicht ratsam, wenn wir große Datenmengen verwenden. In Python/Scala gibt es eine Funktion namens lokalen Iterator(), die den Datenrahmen in eine Liste konvertieren wird. Ich kämpfe damit in SparkR. Kann jemand helfen!SparkR - Datenrahmen in Vektor konvertieren/Liste
1
A
Antwort
0
Leider ist collect()
die beste Methode, dies zu tun. Sie können auch versuchen: saveAsTextFile
, aber in diesem Fall werden Sie wahrscheinlich nicht ganze Daten erhalten.
Verwandte Themen
- 1. Verwenden von Anwendungsfunktionen in SparkR
- 2. Vektor vs. Datenrahmen in R
- 3. Datenrahmen in dichten Vektor Funke
- 4. Datenrahmen/Vektor-Kontext in R
- 5. Hinzufügen einer Spalte mit Funktionswerten zu Spark-Datenrahmen mit SparkR
- 6. SparkR dapply funktioniert nicht
- 7. Checkpointing DataFrames in SparkR
- 8. dropDuplicates in SparkR
- 9. Unable SparkR in Rstudio
- 10. Messgenauigkeit in SparkR
- 11. SparkR in Windows
- 12. Was ist der Unterschied und die Beziehung zwischen lokalen R Datenrahmen und SparkR Datenrahmen und RDD
- 13. Abrunden Werte in einer Spalte - SparkR
- 14. SparkR - überschreiben Standardparameter in spark.conf
- 15. Eine Datei in SparkR suchen
- 16. String nach Datum konvertieren SparkR
- 17. Funken Datenrahmen zu spärlichen Vektor mit null
- 18. einen Vektor zu Datenrahmen mit mehreren Spalten
- 19. einen logischen Vektor von Datenrahmen zu schaffen
- 20. SparkR Job mit Abhängigkeiten
- 21. Kann sparkR nicht starten
- 22. Zusammenführen von Spalten (H2O.merge) mit H2O in SparkR
- 23. (Array/ML Vektor/MLlib Vektor) RDD zu ML Vektor Datenrahmen coulmn
- 24. R: Vergleichen von Werten in Vektor zu Spalte in Datenrahmen
- 25. Wie kann ein sparkR-Datenframe entpivot werden?
- 26. Wie ein Vektor in Datenrahmen mit fester Dimension
- 27. Split Datenrahmen in die Behälter auf einem anderen Vektor-basierte
- 28. Multiplizieren Sie Spalten in einem Datenrahmen mit einem Vektor
- 29. Spark 2.0.0: SparkR CSV-Import
- 30. Kann nicht gestartet werden SparkR in RStudio
Ya. Das ist das Problem mit SparkR. Anyway thanks – Nirmal
Wenn Sie Cassandra 3.0 verwenden, gibt es die Möglichkeit, 'Materialized view' zu verwenden und Ihre Daten auf dem Server neu anzuordnen, aber es wird Ihnen beim Herunterladen von Daten nicht helfen. (Sie können es verwenden, um die Anzahl der Daten zu verringern und sie dann lokal zu speichern - wenn Sie nicht den ganzen Datensatz benötigen) – Meyk