2016-04-07 14 views
2

Wir haben einige Impala-Tabellen definiert und gehen davon aus, dass wir die Snappy-Komprimierung verwenden. (Parkett Dateien)Parkettkompression über Impala

Allerdings weiß niemand wirklich, welche Komprimierungstyp wir tatsächlich auf vorhandenen Tabellen verwenden.

Die Impala-Dokumente scheinen nicht anzugeben, wie der Komprimierungstyp aus einer vorhandenen Tabelle abgerufen werden soll.

Gibt es eine Möglichkeit, den verwendeten Komprimierungstyp über Impala zu finden?

+0

Hypothetisch könnten Sie 'DESCRIBE FORMATTED $ table_name' verwenden, aber [das Feld" Komprimiert: "in diesem Ergebnis ist unzuverlässig:" Es zeigt normalerweise immer Nein, da die Komprimierungseinstellungen nur während der Sitzung gelten, die Daten lädt und sind nicht dauerhaft mit den Metadaten der Tabelle gespeichert. "] (http://www.cloudera.com/documentation/enterprise/latest/topics/impala_describe.html) – jbapple

+0

Einverstanden, auf Parkett-Tischen würde es nur" NEIN "zeigen – Jared

Antwort

2

Im Moment gibt es in Impala keinen Befehl, der Ihnen die Art der Kompression mitteilt, die in einer als Parkett gespeicherten Tabelle verwendet wird, aber es gibt ein Problem. Sie können eine der Parkettdateien in der Tabelle anzeigen und dann den Meta-Befehl "parquet-tools" verwenden, um die verwendete Komprimierung zu sehen.

Die Ausgabe des Meta-Befehls parquet-tools zeigt Ihnen die Art der Komprimierung an, die unter der Ausgabe der Zeilengruppe verwendet wird.

Verwandte Themen