Wie Daten filtern Fensterfunktionen in Funken mit

Question

Ich habe folgende Daten:

rowid uid time code 
    1 1  5 a 
    2 1  6 b 
    3 1  7 c 
    4 2  8 a 
    5 2  9 c 
    6 2  9 c 
    7 2  10 c 
    8 2  11 a 
    9 2  12 c 

Nun wollte ich die Daten so filtern, dass ich die Zeilen 6 und 7 für eine bestimmte uid entfernen ich möchte nur eine Zeile mit dem Wert ‚c‘ Code halten

also die erwarteten Daten sein sollten:

rowid uid time code 
    1 1  5 a 
    2 1  6 b 
    3 1  7 c 
    4 2  8 a 
    5 2  9 c 
    8 2  11 a 
    9 2  12 c 

ich Fensterfunktion so etwas wie dies mit:

val window = Window.partitionBy("uid").orderBy("time") 
val change = ((lag("code", 1).over(window) <=> "c")).cast("int") 

Dies würde uns helfen, jede Zeile mit einem Code "c" zu identifizieren. Kann ich diese erweitern Reihen heraus filtern die erwarteten Daten zu erhalten

Answer 1

Wenn Sie nur die Zeilen, in denen Code entfernen möchten = „c“ (mit Ausnahme der ersten für jede uid) Sie folgendes versuchen könnte:

val window = Window.partitionBy("uid", "code").orderBy("time") 
val result = df 
    .withColumn("rank", row_number().over(window)) 
    .where(
    (col("code") !== "c") || 
    col("rank") === 1 
) 
    .drop("rank") 

Bearbeiten neuer Informationen:

val window = Window.partitionBy("uid").orderBy("time") 
val result = df 
    .withColumn("lagValue", coalesce(lag(col("code"), 1).over(window), lit(""))) 
    .where(
    (col("code") !== "c") || 
    (col("lagValue") !== "c") 
) 
    .drop("lagValue")