Wie extrahiert man den Wert von pyspark.sql.function?

Question

Ich verwende einige pyspark.sql.functions:

print(ratings.select(mean('rating')).take(1)) 
print(ratings.select(stddev('rating')).take(1)) 

Die Ausgabe lautet:

[Row(avg(rating)=3.581564453029317)] 
[Row(stddev_samp(rating,0,0)=1.1171018453732544)] 

Wie kann ich den Wert extrahieren, so dass ich es einer Variablen zuweisen können, zum Beispiel

mean_ratings = ratings.select(mean('rating')) 

Answer 1

Take gibt eine Liste der Zeilen zurück. Index in die Liste, um die erste Zeile zu erhalten, dann ziehen Sie das Feld, das Sie suchen:

mean_ratings = ratings.select(mean('rating')).take(1)[0]['avg(rating)']