hinzufügen Funken benutzerdefinierte Operationen SQL

Question

ich eine neue Operation auf Spark-SQL hinzufügen möchten, habe ich bereits benutzerdefinierte Funktion der Form

dataframe.filter(udf("$a", "$b")) 

Ich brauche verwendet eine ähnliche Funktion hinzuzufügen, sondern arbeitet auf zwei Datenrahmen, für Beispiel Hinzufügen einer Funktion wie:

dataframe1.udf(dataframe2)) 

Um genauer zu sein, ist die Funktion eine optimierte Verknüpfung auf zwei Datenrahmen.

Der eigentliche Code ist

CustomJoin(dataframe1,dataframe2) 

ist dies möglich mit benutzerdefinierten Funktionen? Irgendwelche anderen Lösungen oder Beispiele?

Answer 1

Sie können für diesen implizit verwenden:

class AugmentedDataFrame(val df: DataFrame) { 
    def CustomJoin(df2: Dataframe){ ......} 
} 

object DataFrameImplicits { 
    implicit def dfToAugmentedDataFrame(df: DataFrame) = new AugmentedDataFrame(df) 
} 

und dann:

import DataFrameImplicits._ 
df.CustomJoin(df2) 

mehr zu erfahren, wie implizit mit einer benutzerdefinierten Methode zu einer vorhandenen Klasse hinzuzufügen: Add Your Own Methods to the String Class