Spark-Dataframe-Python

Question

In Pandas, kann ich erfolgreich die folgenden ausführen:

def car(t) 
    if t in df_a: 
     return df_a[t]/df_b[t] 
    else: 
     return 0 

Aber wie kann ich tun, um die genau die gleiche Sache mit Funkendatenrahmen Vielen Dank!
Die Daten sind wie diese

df_a 
a 20 
b 40 
c 60 

df_b 
a 80 
b 50 
e 100 

Das Ergebnis 0,25 sein sollte, wenn die Eingangs Auto (a)

Answer 1

Zuerst müssen Sie join beide Datenrahmen, dann haben Sie zu filter von dem entsprechenden Buchstaben und select wollen die Operation, die Sie brauchen.

df_a = sc.parallelize([("a", 20), ("b", 40), ("c", 60)]).toDF(["key", "value"]) 
df_b = sc.parallelize([("a", 80), ("b", 50), ("e", 100)]).toDF(["key", "value"]) 

def car(c): 
    return df_a.join(df_b, on=["key"]).where(df_a["key"] == c).select((df_a["value"]/df_b["value"]).alias("ratio")).head() 

car("a") 

# Row(ratio=0.25)