Wie lese ich die Hadoop-Map-Datei mit Python?

Question

Ich habe Map-Datei, die mit DefaultCodec Block komprimiert ist. Die Map-Datei wird von Java-Anwendung wie folgt erstellt:

MapFile.Writer writer = 
      new MapFile.Writer(conf, path, 
        MapFile.Writer.keyClass(IntWritable.class), 
        MapFile.Writer.valueClass(BytesWritable.class), 
        MapFile.Writer.compression(SequenceFile.CompressionType.BLOCK, new DefaultCodec())); 

Diese Datei in hdfs gespeichert ist, und ich brauche einige Schlüssel, Werte von dem in einer anderen Anwendung mit Python zu lesen. Ich kann keine Bibliothek finden, die das kann. Hast du einen Vorschlag und ein Beispiel?

Dank

Answer 1

Ich würde mit Funken vorzuschlagen, die eine Funktion namens Textdatei() hat, welche Dateien von HDFS lesen kann und sie in RDDs zur Weiterverarbeitung mit anderen Spark-Bibliotheken machen.

Hier ist die Dokumentation: Pyspark

Answer 2

einen Leser wie folgt erstellen:

path = '/hdfs/path/to/file' 
key = LongWritable() 
value = LongWritable() 
reader = MapFile.Reader(path) 
while reader.next(key, value): 
     print key, value 

Schauen Sie sich diese hadoop.io.MapFile Python examples

Und available methods in MapFile.py