So fügen Sie eine Spalte zu einem DataFrame mit dem Mittelwert einer Spalte hinzu

Question

Gibt es einen besseren Weg?

val mean = df.select(avg("date")).first().getDouble(0) 
df.withColumn("mean", lit(mean)) 

Ich gehe davon aus, dass es sich lohnt könnte es eine Aktion Aufruf zu vermeiden ...

Answer 1

Es ist möglich, zusätzliche Maßnahmen zu vermeiden, mit broadcast mit Kreuzprodukt:

import org.apache.spark.sql.functions.broadcast 

df.crossJoin(broadcast(df.agg(avg("date")))) 

oder:

spark.conf.set("spark.sql.crossJoin.enabled", true) 

df.join(broadcast(df.agg(avg("date")))) 

Was Sie sollten nicht tun wird mit Fensterfunktionen:

df.withColumn("avg", avg("date").over())