kann nicht große Datei auf HDFS Funken Cluster-Master-Knoten

Question

I haben einen Funken laden Cluster auf Amazon EC2, die 1 und 2 Master-Knoten untergeordneten Knoten angefeuert, die jede

jedoch 2,7 GB Speicher haben, wenn ich zu setzen versucht eine Datei von 3 GB auf den HDFS durch den Code unten

/root/ephemeral-hdfs/bin/hadoop fs -put /root/spark/2GB.bin 2GB.bin 

den Fehler zurückgibt „/user/root/2GB.bin konnte nur auf 0 Knoten, anstelle von 1 repliziert werden“. fyi, ich kann Dateien kleinerer Größe hochladen, aber nicht, wenn sie eine bestimmte Größe überschreiten (ca. 2,2 GB).

Wenn die Datei die Speichergröße eines Knotens überschreitet, wird sie nicht von Hadoop auf den anderen Knoten aufgeteilt?

Answer 1

Edit: Zusammenfassung meines Verständnisses des Problems Sie konfrontiert sind:

1) Gesamt HDFS freie Größe ist 5,32 GB

2) HDFS freie Größe auf jedem Knoten 2.6GB

ist

Hinweis : Sie haben schlechte Blöcke (4 Blöcke mit korrupten Repliken)

Die folgende Q & A erwähnt ähnliche Probleme: Hadoop put command throws - could only be replicated to 0 nodes, instead of 1

In diesem Fall zeigte die Ausführung von JPS, dass der Datenknoten ausgefallen ist.

Diejenigen Q & A deuten auf eine Art und Weise die Daten-Knoten neu zu starten:

What is best way to start and stop hadoop ecosystem, with command line? Hadoop - Restart datanode and tasktracker

Bitte versuchen Sie Ihre Daten-Knoten neu zu starten, und lassen Sie uns wissen, ob es das Problem gelöst.

---

Wenn HDFS mit - Sie haben ein gemeinsam genutztes Dateisystem

dh alle Knoten das gleiche Dateisystem

Aus Ihrer Beschreibung teilen - die aktuelle freien Speicherplatz auf dem HDFS etwa 2,2 GB ist, während Du versuchst dort 3GB einzustellen.

Führen Sie den folgenden Befehl, um die HDFS freie Größe zu erhalten:

hdfs dfs -df -h 

hdfs dfsadmin -report 

oder (für ältere Versionen von HDFS)

hadoop fs -df -h 

hadoop dfsadmin -report