Kann nicht csv in Funken lesen spark_read_csv() verwendet

Question

Ich versuche sparklyr zu verwenden, um eine CSV-Datei in R. lesen ich die CSV in R lesen kann ganz gut read.csv() verwenden, aber wenn ich versuche, es zu benutzen spark_read_csv() bricht zusammen.

accidents <- spark_read_csv(sc, name = 'accidents', path = '/home/rstudio/R/Shiny/accident_all.csv') 

Allerdings, wenn ich diesen Code auszuführen, versuche ich die folgende Fehlermeldung:

Error in as.hexmode(xx) : 'x' cannot be coerced to class "hexmode"

Ich habe nicht viel von googeln, dass Fehler gefunden. Kann jemand etwas Licht auf das werfen, was hier vor sich geht?

Answer 1

Ja, lokale .csv Dateien können leicht in Spark Datenrahmen mit spark_read_csv() gelesen werden. Ich habe eine .csv Datei im Documents-Verzeichnis und ich habe es mit dem folgenden Code-Snippet gelesen. Ich denke, es gibt keine Notwendigkeit, file:// Präfix zu verwenden. Unten ist der Code-Schnipsel:

Sys.setenv(SPARK_HOME = "C:/Spark/spark-2.0.1-bin-hadoop2.7/") 
library(SparkR, lib.loc = "C:/Spark/spark-2.0.1-bin-hadoop2.7/R/lib") 
library(sparklyr) 
library(dplyr) 
library(data.table) 
library(dtplyr) 

sc <- spark_connect(master = "local", spark_home = "C:/Spark/spark-2.0.1-bin-hadoop2.7/", version = "2.0.1") 

Credit_tbl <- spark_read_csv(sc, name = "credit_data", path = "C:/Users/USER_NAME/Documents/Credit.csv", header = TRUE, delimiter = ",") 

Sie die Datenrahmen nur Credit_tbl durch den Aufruf der Objektnamen sehen können.