Spark: Wie filtert man Zeilen ohne Joins?

Question

Angenommen, ich habe zwei Datenrahmen, df1 und df2. Sowohl df1 als auch df2 enthält die Spalte "id". Ich möchte df1, so dass die resultierende df filtern, df1prime, hat

• nur die gefundenen ids in df1
• keine der alle in df2, gefunden ids

Ohne Joins zu verwenden. Wie kann ich das machen? Wird die Rückkehr zu RDDs anstelle von DFs helfen? Beide pyspark und scala Antworten sind willkommen.

Danke!

Edit: Ich mag die ganzen Zeilen halten von DF1

Answer 1

Wenn Sie wirklich nur die IDs in Ihrem df1prime wollen (wie Sie in Ihrer Frage angeben), dann können Sie einfach tun (scala):

val df1primeIDs = df1.select($"id").except(df2.select($"id")) 

Wenn Sie die ganzen Spalten von df1 benötigen, ohne eine Verknüpfung, ich sehe keine andere Möglichkeit, als (mit meiner Linie über und unter der Annahme, dass id vom Typ long ist):

val df1prime = df1.where($"id".isin(
    df1primeIDs.collect().map(_.getLong(0)):_*) 
) 

Aber normalerweise Sammlung ist keine Option ...