RDD kann nicht in Sequenz konvertiert werden

Question

Ich habe eine Variable rawData vom Typ DataFrame. Ich möchte alle Elemente einer Spalte erhalten und sie in eine Scala Seq konvertieren.

val res = rawData.map(x => x(0)).toSeq 

Allerdings erhalte ich folgende Fehlermeldung:

Error:(114, 40) value toSeq is not a member of org.apache.spark.rdd.RDD[Any] 
    val res = rawData.map(x => x(0)).toSeq 

So rawData.map(x => x(0)) vom Typ RDD[Any]. Wie kann ich das in eine Seq konvertieren?

Answer 1

Wie die Ausnahme sagte, ist die toSeq kein Mitglied des RDD-Objekts. Um es Ihnen leicht zu machen. Nehmen Sie den folgenden Befehl:

val res = rawData.map(x => x(0)).collect() 

Dieser Befehl wird Ihnen ein sequenzielles Objekt zurückgeben, wenn Sie dies iterieren möchten.