Geschachtelte JSON in Spark scala schreiben

Question

Mein Spark-SQL generiert eine Ausgabe für eine Abfrage, indem zwei Tabellen verknüpft werden, die eine zu viele Kardinalität hat. Ich muss die Daten in JSON konvertieren. So sieht die Ausgabe der Abfrage aus.

Address_id_parent | Address_id_child | Country_child | city_child 
1     |  1   |  India  | Delhi 
1     |  1   |  US  | NewYork 
1     |  1   |  US  | NewJersey 

Die obigen Daten müssen auf diese Weise in JSON konvertiert werden.

{ 
    "Address": { 
     "Address_id_parent": "1" 
    }, 
    "Address-details": [{ 
     "Address_id_child": "1", 
     "location": [{ 
       "country":"India", 
       "city":"Delhi", 
       }, 
       { 
       "country":"US", 
       "city":"NewYork", 
       }, 
       { 
       "country":"US", 
       "city":"NewJersey", 
       } 
       ] 
    }] 
} 

Wie kann ich das erreichen?

Answer 1

prüfen Datenrahmen Schreib-Schnittstelle mit json:

df.write.format("json").save(path)