Speichern von Dateien auf EMR EC2-Instanzen

Ich habe Probleme mit dem Festplattenspeicher beim Herunterladen von Dateien von S3 auf meine EMR-Knoten. Ich benutze c3.4xlarge Nodes, die 160GB Speicherplatz haben sollen, aber wenn ich addFile mit PySpark verwende, um die Dateien zu senden (8 450MB Dateien), bekomme ich No space left on device Fehler.Speichern von Dateien auf EMR EC2-Instanzen

Eine Idee, warum das passiert?

Ich sehe ein ähnliches Problem beim Herunterladen der Dateien über die AWS-CLI auf dem Master-Knoten.

Was ist los?

Quelle

2016-04-15 econgineer

Sind Sie sicher, dass Sie die Dateien auf der richtigen Partition ablegen, die über genügend Speicherplatz verfügt? Ich glaube, Sie müssen sie in das Verzeichnis /mnt kopieren. Wenn Sie df -H auf einem der Server ausführen, wird Ihnen angezeigt, wo sich Ihr Speicherplatz befindet.

Quelle

2016-04-15 23:00:47

Danke, das hat funktioniert, obwohl ich sudo musste, um in dieses Verzeichnis zu schreiben. – econgineer

Vorausgesetzt, dass ich diese Dateien im Ordner/mnt in jedem Slave benötige, ist es möglich, einen Schritt hinzuzufügen, um Dateien von S3 in den gleichen Dateipfad auf jedem Slave zu kopieren? – econgineer

Speichern von Dateien auf EMR EC2-Instanzen

Antwort

Verwandte Themen