2016-11-23 3 views
1

Kann mir jemand sagen, ob wir Datenrahmen in SparkR Liste konvertieren können. Ich bin mir bewusst, dass die Funktion collect() Ihnen dabei hilft. Es ist jedoch nicht ratsam, wenn wir große Datenmengen verwenden. In Python/Scala gibt es eine Funktion namens lokalen Iterator(), die den Datenrahmen in eine Liste konvertieren wird. Ich kämpfe damit in SparkR. Kann jemand helfen!SparkR - Datenrahmen in Vektor konvertieren/Liste

Antwort

0

Leider ist collect() die beste Methode, dies zu tun. Sie können auch versuchen: saveAsTextFile, aber in diesem Fall werden Sie wahrscheinlich nicht ganze Daten erhalten.

+0

Ya. Das ist das Problem mit SparkR. Anyway thanks – Nirmal

+0

Wenn Sie Cassandra 3.0 verwenden, gibt es die Möglichkeit, 'Materialized view' zu verwenden und Ihre Daten auf dem Server neu anzuordnen, aber es wird Ihnen beim Herunterladen von Daten nicht helfen. (Sie können es verwenden, um die Anzahl der Daten zu verringern und sie dann lokal zu speichern - wenn Sie nicht den ganzen Datensatz benötigen) – Meyk