Hinzufügen einer Spalte voller NAs in Sparkr

Question

Wie füge ich eine Spalte voller NA in einem SparkRDataFrame hinzu? Dies funktioniert nicht.

> df <- data.frame(cola = 1:4) 
> sprkrDF <- createDataFrame(sqlContext, df) 
> sprkrDF$colb <- NA 
Error: class(value) == "Column" || is.null(value) is not TRUE 

Dank

---

NB: Ich will es hinzuzufügen, direkt an den SparkRDataFrame, so ist dies nicht die Lösung, die ich suche:

> df <- data.frame(cola = 1:4, colb = NA) 
> sprkrDF <- createDataFrame(sqlContext, df) 

Answer 1

Wir verwenden könnten lit() um eine neue Spalte zu erstellen und sie mit NA zu füllen.

sprkrDF <- withColumn(sprkrDF, "colb", lit(NULL)) 

Answer 2

Vereinbart, dass @ Mtotos Antwort die richtige Antwort auf die spezifische Frage ist, die Sie gestellt haben. Ein alternativer Ansatz ist das Auffüllen der NA-Werte im R data.frame, bevor Sie den Spark DataFrame erstellen. Arbeiten in Basis R kann einige Aufgaben erleichtern, wenn (a) Sie keine verteilte Verarbeitungsleistung benötigen und (b) Sie bestimmte Zeilen in den Daten indizieren möchten.

df <- data.frame(cola = 1:4) 
df$colb <- NA 
sprkrDF <- createDataFrame(sqlContext, df) 

Freut mich zu sehen, dass jemand anders gelernt hat, R- und Spark-Datenframe-Namen eindeutig zu markieren! ... Ich benutze immer rdf für "R data.frame" und sdf für "Spark DataFrame", um meinen Code lesbarer zu machen :-)