in eine Datei in HDFS in Hadoop Schreiben

Question

ich für eine Disk-intensive Hadoop Anwendung gesucht, die E/A-Aktivität in Hadoop zu testen, aber ich konnte keine solche Anwendung finden, die über die Datenträgerauslastung gehalten, etwa 50% oder einig eine solche Anwendung, die tatsächlich die Festplatte beschäftigt hält. Ich habe versucht Randomwriter, aber das ist überraschend nicht Festplatte I/O intensiv.

Also schrieb ich ein kleines Programm, eine Datei in Mapper zu erstellen und einen Text hinein zu schreiben. Diese Anwendung funktioniert gut, aber die Verwendung ist nur im Master-Knoten hoch, der auch Name-Knoten, Job-Tracker und einer der Slaves ist. Die Plattenauslastung ist in den anderen Task-Trackern NIL oder vernachlässigbar. Ich kann nicht verstehen, warum Festplatten-I/O in Task-Tracker so niedrig ist. Könnte jemand bitte mich in die richtige Richtung stoßen, wenn ich etwas falsch mache? Danke im Voraus.

Hier ist mein Beispielcode-Segment, das ich in WordCount.java Datei geschrieben UTF String in ein File-

Configuration conf = new Configuration(); 
FileSystem fs = FileSystem.get(conf); 
Path outFile; 
while (itr.hasMoreTokens()) { 
    word.set(itr.nextToken()); 
    context.write(word, one); 
    outFile = new Path("./dummy"+ context.getTaskAttemptID()); 
    FSDataOutputStream out = fs.create(outFile); 

    out.writeUTF("helloworld"); 
    out.close(); 
    fs.delete(outFile); 
    } 

Answer 1

OK. Ich muss wirklich dumm gewesen sein, dass ich vorher nicht nachgesehen habe. Das eigentliche Problem war, dass alle meine Datenknoten nicht wirklich liefen. Ich habe die Namen-Nummer umformatiert und alles fiel wieder an den richtigen Platz, ich bekam eine Auslastung von 15-20%, was nicht schlecht für WC ist. Ich werde es für den TestDFSIO laufen lassen und sehen, ob ich den Datenträger noch mehr nutzen könnte.

Answer 2

Ich denke, dass jeder Mechanismus, der in jeder Zeile Java-Objekte pro Zelle erzeugt, zu erstellen und schreiben und führen Sie jede tun Serialisierung der Java-Objekte vor dem Speichern auf der Festplatte hat wenig Chance, IO zu verwenden.
Nach meiner Erfahrung Serialisierung ist in Geschwindigkeit von mehreren MBs pro Sekunde oder ein bisschen mehr, aber nicht 100 MB pro Sekunde arbeiten.
Also, was Sie hadoop Schichten auf dem Ausgangspfad zu vermeiden tat, ist ganz richtig. Jetzt betrachten wir, wie das Schreiben in HDFS funktioniert. Die Daten werden abhängig von Ihrem Replikationsfaktor über lokalen Datenknoten und dann synchron mit anderen Knoten im Netzwerk auf die lokale Festplatte geschrieben. In diesem Fall können Sie nicht mehr Daten in HDFS als Ihre Netzwerkbandbreite schreiben. Wenn Ihr Cluster relativ klein ist, werden die Dinge wert. Für 3-Knoten-Cluster und Triple-Replikation werden Sie alle Daten an alle Knoten übertragen, so dass die HDFS-Bandbreite des gesamten Clusters etwa 1 GBit beträgt - wenn Sie ein solches Netzwerk haben.
Also, ich würde vorschlagen, zu:
a) Replikationsfaktor auf 1 zu reduzieren und damit durch das Netzwerk ist gebunden zu stoppen.
b) Schreiben Sie größere Teile von Daten in einem Anruf zum Mapper