Warnmeldung bei der Verwendung einer Fensterfunktion in SparkSQL Dataframe

Question

Ich erhalte die folgende Warnmeldung, wenn ich die Fensterfunktion in SparkSQL verwende. Kann mir bitte jemand sagen, wie man dieses Problem beheben kann.

Warnung Nachricht: No Partition Defined for Window operation! Moving all data to a single partition, this can cause serious performance degradation.

Mein Code: def calcPrevBrdrx(df: DataFrame): DataFrame = { val w = Window.orderBy("existing_col1") df.withColumn("new_col", lag("existing_col2", 1).over(w)) }

Answer 1

Die Warnung ist genau das, was es sagt. Im Allgemeinen, wenn Sie eine Fensterfunktion verwenden, würden Sie zuerst nach einer Spalte partitionieren und erst dann sortieren. Wenn Sie beispielsweise Protokolle für einen Benutzer erstellt haben, können Sie diese durch den Benutzer partitionieren und dann nach Zeit sortieren, wodurch die Sortierung für jeden Benutzer getrennt durchgeführt wird.

Wenn Sie bis dahin keine Partition haben, sortieren Sie den gesamten Datenrahmen. Das würde bedeuten, dass Sie eine einzelne Partition haben. Alle Daten von allen Datenrahmen würden auf diese einzelne Partition verschoben und sortiert werden.

Dies wäre langsam (Sie mischen alles und sortieren dann alles) und schlimmer bedeutet dies, dass alle Ihre Daten in eine einzige Partition passen müssen, die nicht skalierbar ist.

Sie sollten sich wahrscheinlich Ihre Logik ansehen, um sicherzustellen, dass Sie wirklich alles sortieren müssen, anstatt vorher etwas zu partitionieren.