Wie implementieren „über (Partition nach Wert)“ mit Spark-Dataframe

Question

Ich plane eine Spalte von Spark-Datenrahmen zu ändern ähnlichen Zweck der folgenden Hive QL zu implementieren:

SELECT Id, MIN(Id) over (PARTITION BY Age) Rep FROM Employees 

Meine Frage ist, wie zu implementieren "over (Partition von ..)" in UDF?

Mein Ruf ist wie folgt:

def _udfuntion = { ... } 
val ownfunc = udf(_udfunction) 
df.withColumn("Rep", ownfunc($"Id", $"Age")) 

Answer 1

Sie benötigen einen Benutzerdefiniert Aggregate Function (UDAF) zu verwenden, anstatt ein UDF.

Es gibt einige große Beispiele gibt, zum Beispiel https://docs.databricks.com/spark/latest/spark-sql/udaf-scala.html und https://jaceklaskowski.gitbooks.io/mastering-apache-spark/spark-sql-UserDefinedAggregateFunction.html