Verbinden von zwei Tabellen mit unterschiedlicher Spaltenanzahl in Spark

Question

Wie verknüpfe ich zwei Datenrahmen A und B, die unterschiedliche Spalten enthalten und Nullen für Spalten erhalten, die in den Datenrahmen A und B nicht üblich sind?

kann ich, dass Funken sehen unionAll diese Aktion nicht unterstützt und wirft folgende Fehler

org.apache.spark.sql.AnalysisException: Union can only be performed on tables with the same number of columns, but the left table has 11 columns and the right has 10;

Spark-Version: 1.6.1

Answer 1

Rewrite Ihre Abfrage, damit es alle Spalten festgelegt und mit null as missing_field für Spalte zu kompensieren Sie haben nicht

SELECT field1, field2, field3 FROM A UNION ALL SELECT field1, field2, null as field3 FROM B