hive explodieren Liste von json-string

Question

Ich habe Tabelle mit jsons:

CREATE TABLE TABLE_JSON (
    json_body string 
); 

Json hat Struktur:

{ obj1: { fields ... }, obj2: [array] } 

ich von Array alle Elemente auswählen möchten, aber ich kann es nicht.

Zum Beispiel kann ich alle Felder aus erstem Objekt erhalten:

SELECT f.fields... 
    FROM (
     SELECT q1.obj1, q1.obj2 
     FROM TABLE_JSON jt 
     LATERAL VIEW JSON_TUPLE(jt.json_body, 'obj1', 'obj2') q1 AS obj1, obj2 
    ) as json_table2 
    LATERAL VIEW JSON_TUPLE(TABLE_JSON.obj1, 'fields...') f AS fields...; 

Aber mit Array dieser Methode nicht funktioniert.

Ich habe versucht,

... 
    LATERAL VIEW explode(json_table2.obj2) adTable AS arr; 

hive explode doc

Aber obj2 zu verwenden - mit Array-String. Wie transformiere ich String-JSON in Array und explodiere es?

Answer 1

Sie können die Verwendung von Hive-JSON SerDe zum Lesen der Daten aus JSON in Erwägung ziehen.

Siehe: https://github.com/rcongiu/Hive-JSON-Serde

Answer 2

Die json_split UDF von Brickhouse (http://github.com/klout/brickhouse) ein JSON-Array in eine Liste Struktur umwandeln kann, und dann können Sie das explodieren.

Siehe http://mail-archives.apache.org/mod_mbox/hive-user/201406.mbox/%3CCAO78EnLgSrrUY3Ad_ZWS9zWNKLQRwS9jXrqEE869FhUNiWgCXA@mail.gmail.com%3E und https://brickhouseconfessions.wordpress.com/2014/02/07/hive-and-json-made-simple/