Ist es möglich, ORC-Datei zu Spark Datenrahmen in Sparklyr lesen?

Question

Ich weiß, dass sparklyr folgende Datei lesen Methoden hat:

• spark_read_csv
• spark_read_parquet
• spark_read_json

Was lesen Ork-Dateien? Wird es von dieser Bibliothek unterstützt?

Ich weiß, ich kann read.orc in SparkR oder this solution verwenden, aber ich möchte meinen Code in Sparklyr behalten.

Answer 1

können Sie niedrige Ebene Spark API in gleicher Weise verwenden ich zu Transfer data from database to Spark using sparklyr in meiner Antwort beschrieben:

library(dplyr) 
library(sparklyr) 

sc <- spark_connect(...) 

spark_session(sc) %>% 
    invoke("read") %>% 
    invoke("format", "orc") %>% 
    invoke("load", path) %>% 
    invoke("createOrReplaceTempView", name) 

df <- tbl(sc, name) 

wo name ein beliebiger Name ist verwendet, um die Tabelle

In der aktuellen sparklyr Version zu identifizieren Sie sollten in der Lage sein, oben mit spark_read_source zu ersetzen:

spark_read_source(sc, name, source = "orc", options = list(path = path))