Wie kann ich Datenrahmen mit ungleicher Spaltennummer in Spark

Question

zusammenführen oder verketten Ich mache ein Projekt mit Funken. Irgendwann muss ich 3 Datenrahmen in einem einzigen Datenrahmen verschmelzen oder verketten. diese Datenrahmen kommt von Spark sql Tabelle Ich habe Union-Funktion, die bereits Spalte mit der gleichen Nummer aus zwei Tabelle zusammenführen, aber ich muss auch ungleiche Spaltenwerte zusammenführen. Ich bin jetzt verwirrt gibt es eine Möglichkeit, ungleiche Spalte basierte Datenrahmen in pyspark zusammenführen und führen Sie mich bitte

Answer 1

Sie könnten eine Spalte mit einem Standardwert vor dem Zusammenführen hinzufügen.

from pyspark.sql.functions import lit 

updDf = df2.withColumn('zero_column', lit(0)) 

df1.union(updDf)