Aggregierte Zeit zwischen abwechselnden Zeilen

Question

Ich habe einen Datensatz, der ungefähr 200 KB groß ist. Ich habe die Daten bereinigt und lud sie in ein RDD Spark (pyspark verwendet wird), so dass der Header-Format ist die folgende:

Employee ID | Timestamp (MM/DD/YYYY HH:MM) | Location 

Dieser Datensatz speichert Mitarbeiter Stempel-in und Stempel-out-Zeiten, und ich müssen die Zeit aufaddieren, die sie bei der Arbeit verbracht haben. Angenommen, das Format der Zeilen ist sauber und streng alternierend (also einprägen, ausstempeln, einwerfen, ausheften usw.), gibt es eine Möglichkeit, die in Spark verbrachte Zeit zu aggregieren?

Ich habe versucht, Filter auf alle "Stempel in" -Werte zu verwenden und die Zeit mit dem Wert in der Zeile direkt nach (so r + 1) zu aggregieren, aber dies erweist sich als sehr schwierig, um nicht teuer zu sein. Ich denke, das wäre in einer Sprache wie Java oder Python einfach zu machen, aber bevor ich umschalte, fehlt mir eine Lösung, die in Spark implementiert werden kann?

Answer 1

Sie können versuchen, mit Hilfe der Fensterfunktion lead:

from pyspark.sql import Window 
from pyspark.sql.functions import * 

window = Window.partitionBy("id").orderBy("timestamp") 
newDf = df.withColumn("stampOut", lead("timestamp", 1).over(window)).where(col("stampOut").isNotNull()) 

finalDf = newDf.select(col("id"), col("stampOut") - col("timestamp"))