überladene Methode Wert UDF mit Alternativen

Question

Ich versuche, eine Tabelle in Databricks Community Edition mit dem folgenden Code zu registrieren:

import org.apache.spark.sql.functions.udf 

val getDataUDF(url: String):Unit = udf(getData(url: String):Unit) 

Allerdings bekomme ich einen Fehler:

overloaded method value udf with alternatives:

Answer 1

Ihre UDF Syntax aussieht ein bisschen seltsam, sollten Sie nicht den Typ definieren, wenn Sie getData() aufrufen. Außerdem sollte die Eingabe für die benutzerdefinierte Funktion in der Methode selbst enthalten sein.

Zum Beispiel haben Sie eine Methode getData wie folgt aus (es einen Rückgabewert haben sollte):

def getData(url: String): String = {...} 

Um es in ein UDF zu machen, gibt es zwei Möglichkeiten:

1. Rewrite getData als Funktion

   val getData: (String => String) = {...} 
   val getDataUDF = udf(getData) 
   

2. Rufen Sie die getData Verfahren innerhalb des UDF

   val getDataUDF = udf((url: String) => { 
       getData(url) 
   }) 
   

Beide Wege funktionieren sollte, ich persönlich denke, Methode 1 etwas besser aussieht.