gelöschte Tabellen bei Verwendung von left_joint mit sparklyr

Question

Ich arbeite mit einigen Tabellen, die ich beitreten möchte, dafür verwende ich sparklyr (aufgrund der Tabellengröße) mit left_joint von dplyr. hier ist der Code Beispiel:

query.1 <- left_join(pa11, pa12, by = c("CODIGO_HAB_D","ID_EST","ID_ME","ID_PARTE_D","ID_PAR", "ID_REP")) %>% left_join(., pa13, by = c("ID_SINI" = "ID_SINI")) 

query.1 <- left_join(query.1, a14, by = "ID_REP") 
query.1 <-left_join(query.1, a16, by = c("ID_MEJ" = "ID_ME")) 
query.1 <-left_join(query.1, a17, by = c("ID_EST" = "ID_ESTE")) 
query.1 <-left_join(query.1, a18, by = "ID_PARTE_D") 
query.1 <-left_join(query.1, a19, by = "CODI") 
query.1 <-left_join(query.1, a110, by = c("ID_PROF.x" = "ID_PROF")) 
query.1 <-left_join(query.1, a111, by = c("ID_COM.x" = "ID_COM")) 
query.1 <-left_join(query.1, a113, by = c("ID_GRANDES.x" = "ID_GRANDES")) 

Als ich die fünf ersten Tabellen left_joint, geht alles wie erwartet. Wenn ich mit mehreren Tabellen wiederholen dies ich diese Fehlermeldung erhalten

Error in as.vector(x, "character") : 
cannot coerce type 'environment' to vector of type 'character' 

dann, wenn ich versuche, einen Blick auf die Spark-Tisch zu nehmen ich einen Fehler in Rstudio bekommen.

Answer 1

Ich bekomme diese Fehler von Zeit zu Zeit aus anderen Gründen.

Aus meiner Erfahrung hilft dem Sparklyr Speicher und Testamentsvollstrecker overheadmemory zunehmende

config <- spark_config() 
    config$`sparklyr.shell.driver-memory` <- "8G" 
    config$`sparklyr.shell.executor-memory` <- "8G" 
    config$spark.yarn.executor.memoryOverhead <- "2g"