Wie ermittle ich die Größe meiner HBase Tabellen? Gibt es einen Befehl dazu?

Question

Ich habe mehrere Tabellen auf meiner Hbase-Shell, die ich in mein Dateisystem kopieren möchte. Einige Tabellen überschreiten 100 GB. Ich habe jedoch nur noch 55 GB freien Speicherplatz in meinem lokalen Dateisystem. Daher würde ich gerne die Größe meiner hbase-Tabellen kennen, um nur die kleinen Tabellen exportieren zu können. Irgendwelche Vorschläge werden geschätzt.

Danke, Gautham

Answer 1

versuchen hdfs dfs -du -h /hbase/data/default/ (oder/hbase/je nach hbase Version Sie verwenden)

Dies wird zeigen, wie viel Speicherplatz von Dateien Ihrer Tabellen verwendet wird.

Hoffnung, die helfen wird.

Answer 2

für 0.98+ versuchen hadoop fs -du -s -h $hbase_root_dir/data/data/$schema_name/ (oder/hbase/für 0,94)

Sie können hbase_root_dir von hbase-site.xml Datei des Clusters finden. Der obige Befehl liefert Ihnen eine Zusammenfassung der von jeder Tabelle verwendeten Festplatte.

Answer 3

Verwendung du

Verbrauch: hdfs dfs -du [-s] [-h] URI [URI …]

Displays Größen von Dateien und im angegebenen Verzeichnis oder die Länge einer Datei, falls seine nur eine Datei enthaltenen Verzeichnisse.

Optionen:

Die Option -s in einer Gesamtübersicht der Datei führen Längen werden angezeigt, anstatt die einzelnen Dateien.

Die Option -h wird Dateigrößen in einer "menschenlesbaren" Mode (zB 64,0 statt 67108864)

Beispiel formatieren:

hdfs dfs -du -h /hbase/data/default 

Ausgang für mich:

1.2 M /hbase/data/default/kylin_metadata 
14.0 K /hbase/data/default/kylin_metadata_acl 
636  /hbase/data/default/kylin_metadata_user 
5.6 K /hbase/data/default/test