Was ist LongWritable Key-Eingabe für die map()?

Question

Ich habe 2 Textdateien von jeweils 1 MB in HDFS als Eingaben für mein MapReduce-Programm gespeichert. In der folgenden Zeile betrachten wir das Eingabepaar für die map().

class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> { 

Was ist ein LongWritable-Schlüssel hier? Wie wird es von MapReduce angenommen? Hat jede Textzeile in der Eingabedatei einen Schlüssel oder wird ein einzelner Schlüssel als vollständiger Text in der Datei angenommen (d. H. Alle Zeilen gleichzeitig)?

Answer 1

Es wird Byte Zeilenversatz oder können Sie die Zeilennummer

Answer 2

1- Die LongWritable Schlüssel hier sagen, dass die offset der Linie, die in der Datei und not die Zeilennummer position dieser Linie bedeutet, ist. Es gibt a lot Unterschiede zwischen diesen 2.

2- Es ist not assumed von MapReduce-Framework. Es ist die Aufgabe der InputFormat, die Sie in Ihrem MR-Auftrag verwenden, um es zu entscheiden. Standard ist TextInputFormat, die Byte-Offset der Zeile als Schlüssel gibt, wie in Ihrem Fall.

3- Nun, es hängt wieder von Ihrem InputFormat. Wenn Sie TextInputFormat verwenden, wird jede Zeile als Wert mit dem Offset als Schlüssel behandelt. Sie können jedoch Ihr eigenes benutzerdefiniertes InputFormat verwenden, das Ihnen möglicherweise nur einen Schlüssel für die gesamte Datei und alle Zeilen dieser Datei als Wert gibt.