Python schreiben in hdfs Datei

Question

Was ist der beste Weg zum Erstellen/Schreiben/Aktualisieren einer Datei in remote HDFS von lokalen Python-Skript?

Ich bin in der Lage, Dateien und Verzeichnisse aufzulisten, aber das Schreiben scheint ein Problem zu sein.

Ich habe hdfs und snakebite gesucht, aber keiner von ihnen gibt einen sauberen Weg, dies zu tun.

Answer 1

Wie wäre es mit pyspark?

Oder die upload function der hdfs Bibliothek, die Sie verknüpft haben?

Snakebite doesn't write files

pyarrow has a FileSystem.open() function