Spark erstellen UDF, die nicht Eingabe

Question

Ich möchte eine Spalte mit einer zufällig generierten ID zu meinem Spark-Datenrahmen hinzufügen. Um dies zu tun, ich bin mit einem UDF UUID des zufälligen UUID-Methode aufrufen, etwa so:

def getRandomId(s:String) : String = { 
    UUID.randomUUID().toString() 
} 

val idUdf = udf(getRandomId(_:String)) 
val newDf = myDf.withColumn("id", idUdf($"colName")) 

Offensichtlich meine getRandomId Funktion nicht einen Eingabeparameter benötigt; Ich kann jedoch nicht herausfinden, wie eine UDF erstellt wird, die keine Spalte als Eingabe akzeptiert. Ist das in Spark möglich?

Ich bin mit Funken 1,5

Answer 1

Sie UDF ohne params registrieren. Hier () => String löst die Anforderung

import org.apache.spark.sql.functions.udf 
val uuid = udf(() => java.util.UUID.randomUUID().toString) 

mit der UDF (uuid) auf Datenrahmen

val newDf = myDf.withColumn("uuid", uuid()) 

Answer 2

Sie können dies versuchen:

def getRandomId() : String = { 
    UUID.randomUUID().toString() 
} 

val idUdf = udf(getRandomId _) 
val newDf = df.withColumn("id", idUdf()) 

Der Trick ist getRandomId _ erstellt eine Funktion () => String aus Ihre Methode