So finden Sie die Größe einer HDFS-Datei

Question

Wie finde ich die Größe einer HDFS-Datei? Mit welchem ​​Befehl sollte die Größe einer Datei in HDFS ermittelt werden?

Answer 1

Sie können den Befehl hadoop fs -ls verwenden, um Dateien im aktuellen Verzeichnis sowie deren Details aufzulisten. Die 5. Spalte in der Befehlsausgabe enthält die Dateigröße in Bytes.

Für z.B. Befehl hadoop fs -ls input gibt folgende Ausgabe:

Found 1 items 
-rw-r--r-- 1 hduser supergroup  45956 2012-07-19 20:57 /user/hduser/input/sou 

Die Größe der Datei sou 45.956 Bytes.

Answer 2

Ich finde mich auch mit hadoop fs -dus <path> sehr viel. wenn ein Verzeichnis auf HDFS zum Beispiel den Namen „/ user/Frylock/Eingabe“ 100 Dateien enthält, und Sie müssen die Gesamtgröße für alle diese Dateien könnten Sie laufen:

hadoop fs -dus /user/frylock/input 

und Sie würden die Gesamtgröße zurück (in Byte) aller Dateien im Verzeichnis "/ user/frylock/input".

Denken Sie auch daran, dass HDFS Daten redundant speichert, sodass der tatsächlich von einer Datei belegte physische Speicher 3x oder mehr sein kann, als von hadoop fs -ls und hadoop fs -dus gemeldet wird.

Answer 3

Wenn Sie dies über die API tun möchten, können Sie die Methode 'getFileStatus()' verwenden.

Answer 4

Ich benutzte die folgende Funktion, die mir half, die Dateigröße zu bekommen.

public class GetflStatus 
{ 
    public long getflSize(String args) throws IOException, FileNotFoundException 
    { 
     Configuration config = new Configuration(); 
     Path path = new Path(args); 
     FileSystem hdfs = path.getFileSystem(config); 
     ContentSummary cSummary = hdfs.getContentSummary(path); 
     long length = cSummary.getLength(); 
     return length; 
    } 
} 

Answer 5

Siehe den Befehl unten mit awk Skript die Größe (in GB) der gefilterten Ausgabe in HDFS zu sehen:

hadoop fs -du -s /data/ClientDataNew/**A*** | awk '{s+=$1} END {printf "%.3fGB\n", s/1000000000}' 

Ausgang ---> 2.089GB

hadoop fs -du -s /data/ClientDataNew/**B*** | awk '{s+=$1} END {printf "%.3fG\n", s/1000000000}' 

Ausgang ---> 1.724GB

hadoop fs -du -s /data/ClientDataNew/**C*** | awk '{s+=$1} END {printf "%.3fG\n", s/1000000000}' 

Ausgabe ---> 0.986GB