Lesen von großen Text-Datei von FTP vor der Funkenanalyse

Question

Ich bin Funke im Standalone-Modus (mit einer Vision in Zukunft verteilt) in mein System zu Analyse einer sehr großen Datei> 5 GB. Zuerst muss ich diese Datei von FTP zu meinem lokalen e.g c:\spark\analysis\bigfile.txt kopieren, dann kann ich die Datei mit Funken zur Analyse laden.

Meine Frage ist, wie kann ich eine so große Datei effizient kopieren, ohne aus dem Speicher zu gehen? Ist es möglich, es in Funken zu tun? Sollte ich eine Streaming-Bibliothek wie Kafka verwenden?

Auf die gleiche Weise muss ich eine große Datei auf den FTP-Server schreiben, nachdem ich die Funkenanalyse abgeschlossen habe.

Answer 1

Sie könnten einen einfachen Shell-Befehl Bluezone oder andere Randknoten Verbindungsterminalemulatoren verwenden:

cat bigfile.txt | ssh yourUserName@yourServer 'hdfs dfs -put - /pathTo/hdfs'

Es wäre allerdings etwas langsamer sein, aber es funktioniert für mich für 300GB-Datei.

Hinweis: Ich habe dies getan, weil meine Datei auf einem Server war, auf dem Hadoop nicht installiert war. Wenn Ihr Server Hadoop installiert dann versuchen, können Sie einfach eine hdfs dfs -put

Answer 2

Rohr es durch stdin:

Blockquote

wget ftp://user:password@ftpserver/your_file | hadoop fs-schöpferische Leistungen - path_in_hdfs

Blockquote

Die Single - sagt HDFS von stdin lesen setzen.