PySpark: Benennen Sie eine neue Datenrahmenspalte aus dem Spaltenwert

Question

Ich muss neue Spalten in meinem Datenframe erstellen und diese Spalten aus Datenrahmenwerten benennen. Etwas wie folgt aus:

new_df = df.withColumn(concat('col_',df['col1']) , df['col2']+df['col3']) 

Aber es sagt, dass ich nicht Spalte Objekt im Namen

Answer 1

Lassen Sie mich wissen, ob das hilft verwenden können,

from pyspark.sql import functions as F 
new_df = df.withColumn('combcol',F.concat(F.lit('col_'),df['col1'])).groupby('col1').pivot('combcol').agg(F.first('col1')+F.first('col2'))