0
Ich habe eine Datei auf HDFs mit Größe 11 GB. Ich möchte es in mehrere Dateien in 1 GB teilen. Wie kann ich das tun? Meine hadoop Version ist 2.7.3Hadoop-Befehl zum Aufteilen von Dateien auf HDFS
A
Antwort
0
Wenn Sie Funken haben, versuchen unten-
Unten Beispiel teilt Eingabedatei in zwei Dateien:
spark-shell
scala> sc.textFile("/xyz-path/input-file",2).saveAsTextFile("/xyz-path/output-file")
Verwandte Themen
- 1. Zusammenführen von hdfs-Dateien
- 2. Übertragung von Dateien von ungesicherten hdfs zu gesicherten hdfs-Cluster
- 3. dekomprimieren von Dateien von hdfs in spark
- 4. Hive - Dateien in Dateien aufteilen
- 5. Zugriff auf Dateien in Hadoop HDFS?
- 6. Was ist die empfohlene Methode zum Anhängen an HDFS-Dateien?
- 7. Hochladen von Dateien in hadoop hdfs?
- 8. Entpacken von .Snappy-Dateien in Hadoop HDFS?
- 9. Kopieren von Dateien in HDFS Hadoop
- 10. Avro-Dateien in HDFS speichern
- 11. Regex zum Aufteilen auf Folgen von Newline-Zeichen
- 12. Regex zum Aufteilen von Zahlen und Operatoren
- 13. Textdatei in mehrere Dateien aufteilen
- 14. Regex zum Aufteilen der IDs
- 15. Bashscript-Upload-Dateien zu hdfs
- 16. Wie mehrere ZIP-Dateien in HDFS entpacken
- 17. Wann sind Dateien in HDFS geschlossen
- 18. Dateien in Mercurial aufteilen und Historie auf beiden Seiten speichern
- 19. Wie funktioniert Spark Partition (ing) auf Dateien in HDFS?
- 20. Fehler Mapping HDFS-Dateien auf ein externes Laufwerk
- 21. Akka stream - Einen Stream von ByteString in mehrere Dateien aufteilen
- 22. Spark HiveContext: Tabellen mit mehreren Dateien auf HDFS
- 23. Bison-Grammatiken in kleinere Grammatik-Dateien aufteilen
- 24. Eine Servlet-Datei in mehrere Dateien aufteilen
- 25. So verschieben Sie Gzip-Dateien in hdfs
- 26. C# - Große Datei in mehrere Dateien aufteilen
- 27. So reparieren Sie beschädigte HDFS-Dateien
- 28. Wie kann ich meinen Perl-Code auf mehrere Dateien aufteilen?
- 29. Pyspark: Liste der Dateien/Verzeichnisse auf HDFS Pfad
- 30. HBase Update-Operationen auf HDFs
Warum wollen Sie das aufzuspalten Datei ? –
Mögliches Duplikat -https: //stackoverflow.com/questions/29567139/how-to-divide-a-big-dataset-into-multiple-small-files-in-hadoop-in-an-effizient –
'hdfs dfs - Ddfs.block.size = 1G -put file' – philantrovert