Ist das Mapper-Objekt von Hadoop für mehrere Threads freigegeben?

Question

Ich frage mich, ob es möglich ist, ein Mitgliedsobjekt hinzuzufügen, das über mehrere map() -Aufruf verwendet werden kann. Zum Beispiel kann ein String:

private StringBuilder builder; 

public void map(...){ 
    ... 

    builder.setLength(0); 
    builder.append(a); 
    builder.append(b); 
    builder.append(c); 
    d = builder.toString(); 

    ... 
} 

Offensichtlich wenn das Mapper Objekt über mehrere Threads gemeinsam genutzt wird, verhält sich der Bauherr Objekt oben nicht wie erwartet aufgrund gleichzeitigen Zugriff von mehreren Threads.

Meine Frage ist also: Ist sichergestellt, dass jeder Thread in Hadoop ein eigenes Mapper-Objekt für sich selbst verwendet? Oder ist es ein konfigurierbares Verhalten?

Dank

Answer 1

Solange Sie nicht die MultithreadedMapper Klasse, aber Ihre eigenen verwenden, wird es kein Problem geben. map() heißt sequenziell und nicht parallel.

Es ist üblich, eine StringBuilder oder andere Datenstrukturen zu verwenden, um ein paar Objekte zwischen den Aufrufen zu puffern. Aber stellen Sie sicher, dass Sie die Objekte aus Ihren Eingabeobjekten klonen, es gibt nur ein Objekt und es wird immer und immer wieder gefüllt, um viele GC zu vermeiden.

Es ist also nicht notwendig, die Rennbedingungen zu synchronisieren oder zu berücksichtigen.

Answer 2

Ich glaube nicht, das möglich ist. Der Grund dafür ist, dass jeder Mapper in einer eigenen JVM ausgeführt wird (sie werden auf verschiedenen Rechnern verteilt), so dass Sie Variablen oder Objekte nicht problemlos über mehrere Mapper oder Reducer hinweg gemeinsam nutzen können.

Nun, wenn alle Mapper auf demselben Knoten laufen, glaube ich, eine Konfiguration für JVM Wiederverwendung irgendwo gibt es, aber ehrlich gesagt würde ich nicht mit, dass die Mühe, vor allem, wenn alles, was Sie brauchen, ist ein StringBuilder ist :)

Ich habe diese Frage schon einmal gesehen, und sie könnte sehr leicht gelöst werden, wenn man das Design der Anwendung ändert. Vielleicht kannst du mehr darüber erzählen, was du damit erreichen willst, um zu sehen, ob das wirklich nötig ist. Wenn Sie es wirklich brauchen, können Sie Ihr Objekt immer noch serialisieren, in HDFS ablegen, es dann mit jedem Mapper lesen, deserialisieren, aber das scheint rückwärts zu sein.