Inner in Funkendatenrahmen nicht immer richtige Joinspalten wie erwartet

Question

mir inneren tue registrieren die in Funkendatenrahmen ähnlich Coversion von SQL-Abfrage

SELECT DISTINCT a.aid,a.DId,a.BM,a.BY,b.TO FROM GetRaw a 
INNER JOIN DF_SD b WHERE a.aid = b.aid AND a.DId= b.DId AND a.BM= b.BM AND a.BY = b.BY" 

ich als

Umwandlung bin

val Pr = DF_SD.select("aid","DId","BM","BY","TO").distinct() 
.join(GetRaw,GetRaw.("aid") <=> DF_SD("aid") 
&& GetRaw.("DId") <=> DF_SD("DId") 
&& DF_SD,GetRaw.("BM") <=> DF_SD("BM") 
&& DF_SD,GetRaw.("BY") <=> DF_SD("BY")) 

Meine Ausgabetabelle enthält Spalten

"aid","DId","BM","BY","TO","aid","DId","BM","BY" 

Kann man korrigieren, wo ich falsch mache

Answer 1

Nur SELECT von distincts verwenden, nachdem beitreten:

val Pr = DF_SD.join(GetRaw,Seq("aid","DId","BM","BY")) 
.select("aid","DId","BM","BY","TO").distinct 

Answer 2

Sie Spaltennamen in der Reihenfolge erwähnen können, die aus dem Umgang mit diesem Problem richtigen Weg ist ..

pls https://docs.databricks.com/spark/latest/faq/join-two-dataframes-duplicated-column.html siehe

val Pr = DF_SD.join(GetRaw,Seq("aid","DId","BM","BY")) 
.dropDuplicates() //optionally, if you want to drop duplicate rows from the dataframe then 
    Pr.show();