Wie arithmetische Operationen auf joinExpression in Apache Funke

Question

Ich versuche derzeit, df1 mit DF2 beizutreten, wo jedes Datenfeld eine Spalte namens Abstand hat und in Metern gemessen wird. Ich will kommen, wo der Unterschied zwischen diesen beiden dataframes.distance < = 10 Meter

So etwas wie dieses def1.join(df2, df1("distance") - df2("distance") <= 10).show()

Ich habe versucht die API-Dokumentation nachzuschlagen, aber ich habe nicht genug Beispiele.

Answer 1

Sie können ein udf in einem Join verwenden, um dies zu erreichen.

val df1 = sc.parallelize(Array(1,2,3)).toDF("distance1") 
val df2 = sc.parallelize(Array(10,12,14)).toDF("distance2") 

val distanceUdf = spark.udf.register("distanceUdf", (in1 : Int, in2 : Int) => { 
    Math.abs(in1 - in2) 
}) 
df1.join(df2, distanceUdf(col("distance1"), col("distance2")) <= 10, "inner").show()