Hive - Split getrennte Spalten über mehrere Zeilen, wählen Sie basierend auf der Position

Question

Ich bin auf der Suche nach einer Möglichkeit, die Spalte basierend auf kommagetrennten Daten zu teilen. Unten ist mein Dataset

id col1 col2 
1 5,6 7,8 

ich das Ergebnis

id col1 col2 
1 5 7 
1 6 8 

Die Position des Index übereinstimmen sollte zu bekommen, weil ich dementsprechend Ergebnisse holen müssen.

Ich versuchte die folgende Abfrage, aber es gibt das kartesische Produkt zurück.

Abfrage:

SELECT col3, col4 
FROM test ext 
lateral VIEW explode(split(col1,'\002')) col1 AS col3 
lateral VIEW explode(split(col2,'\002')) col2 AS col4 

Ergebnis:

id col1 col2 
1 5 7 
1 5 8 
1 6 7 
1 6 8 

Answer 1

können Sie posexplode() verwenden, um Positionsindex Spalten für Ihre Split-Arrays zu erstellen. Wählen Sie dann nur die Zeilen aus, für die die Positionsindizes gleich sind.

SELECT id, col3, col4 
    FROM test 
    lateral VIEW posexplode(split(col1,'\002')) col1 AS pos3, col3 
    lateral VIEW posexplode(split(col2,'\002')) col2 AS pos4, col4 
    WHERE pos3 = pos4; 

Ausgang:

id col3 col4 
1 5 7 
1 6 8 

Referenz: Hive language manual - posexplode()