In PySpark DataFrames, warum ist __setitem__ nicht vollständig implementiert?

Question

In PySpark können wir nicht die traditionelle Pandas oder R-Stil-Notation verwenden, um neue Spalten basierend auf alten in einem DataFrame zu erstellen. Zum Beispiel, sagen, dass ich versuchen, zwei Spalten verketten:

import pyspark.sql.functions as F 
df['newcol'] = F.concat(df['col_1'], df['col_2']) 

Ergebnis:

TypeError: 'DataFrame' object does not support item assignment 

Stattdessen die implementierte Methode, dies zu tun, ist

df = df.withColumn('newcol', F.concat(df['col_1'], df['col_2'])) 

Gibt es einen Grund PySpark nicht Implementieren Sie die traditionelle DataFrame-Notation?

Answer 1

Sie können mehrere Gründe finden, um diesen Weg sowie einige Gegenbeispiele (SparkR API) zu implementieren, aber es wird argumentieren, dass grundlegender Grund ist die Umsetzung Reinheit.

Im Gegensatz zu R oder Pandas Datenrahmen Spark DataFrame ist eine unveränderliche Datenstruktur. Jede Änderung des Schemas erzeugt ein komplett neues DataFrame, so dass jede Operation, die sonst vorschlagen würde, einfach irreführend wäre.

Theoretisch könnte man mit der Umsetzung __setitem__ durch Ersetzen eines Verweises auf JVM DataFrame weg, aber wenn man bedenkt, dass die Identität eines DataFrame ziemlich definitiv von _jdf ist, würde dies ganz unpythonic sein.