Wie kann ich mit Spark (pyspark) eine Parkettdatei schreiben?

Question

Ich bin ziemlich neu in Spark und ich habe versucht, einen Dataframe in Spark in eine Parkett-Datei zu konvertieren, aber ich hatte noch keinen Erfolg. Die documentation sagt, dass ich write.parquet Funktion verwenden kann, um die Datei zu erstellen. Allerdings, wenn ich das Skript ausführen es zeigt mir: Attribute: ‚RDD‘ Objekt kein Attribut ‚write‘

from pyspark import SparkContext 
sc = SparkContext("local", "Protob Conversion to Parquet ") 

# spark is an existing SparkSession 
df = sc.textFile("/temp/proto_temp.csv") 

# Displays the content of the DataFrame to stdout 
df.write.parquet("/output/proto.parquet") 

Wissen Sie, wie diese Arbeit zu machen?

Die Spark-Version, die ich verwende, ist Spark 2.0.1 für Hadoop 2.7.3 gebaut.

Answer 1

Der Fehler war aufgrund der Tatsache, dass die textFile Methode von SparkContext ein RDD zurückgekehrt und was ich brauchte, war ein DataFrame.

SparkSession hat eine SQLContext unter der Haube. Also musste ich die DataFrameReader verwenden, um die CSV-Datei korrekt zu lesen, bevor ich sie in eine Parkettdatei umwandelte.

spark = SparkSession \ 
    .builder \ 
    .appName("Protob Conversion to Parquet") \ 
    .config("spark.some.config.option", "some-value") \ 
    .getOrCreate() 

# read csv 
df = spark.read.csv("/temp/proto_temp.csv") 

# Displays the content of the DataFrame to stdout 
df.show() 

df.write.parquet("output/proto.parquet")