Basiert auf vorherigen Fragen: 1, 2. Angenommen, ich die folgende Datenrahmen haben:PySpark fügt dem Datenframe neue Spalte mit neuer Liste hinzu
df = spark.createDataFrame(
[(1, "a", 23.0), (3, "B", -23.0)],
("x1", "x2", "x3"))
Und ich möchte neue Spalte hinzufügen x4
aber ich habe Wert in einer Liste von Python anstatt auf die neue Spalte hinzuzufügen, z.B. x4_ls = [35.0, 32.0]
. Gibt es eine Möglichkeit, dem Spark-Datenrahmen eine neue Spalte hinzuzufügen? (note, die ich benutze Spark-2.1)
Ausgabe sollte so etwas wie:
## +---+---+-----+----+
## | x1| x2| x3| x4|
## +---+---+-----+----+
## | 1| a| 23.0|35.0|
## | 3| B|-23.0|32.0|
## +---+---+-----+----+
ich auch meine Liste umwandeln kann df_x4 = spark.createDataFrame([Row(**{'x4': x}) for x in x4_ls])
zu Datenrahmen (aber ich weiß nicht, wie Datenrahmen verketten zusammen)
Scheint, als gäbe es keine einfache Möglichkeit, Datenrahmen zu verketten oder Werte zu Dataframe jetzt hinzuzufügen. – titipata