nur fragen, ob jemand/bewusst getan hat über Codierung/Großbild in JPEG2000-Format komprimiert Hadoop mit? Es gibt auch diese http://code.google.com/p/matsu-project/, die Map Reduce verwendet, um das Bild zu verarbeiten.Encoding Bild in Jpeg2000 Distributed Computing Verwendung wie Hadoop
Bildgröße ist etwa 1 TB + und auf einzelne Maschine dauert es 100Hour +
Wie groß ein Bild redest du da? Aus der JPEG 2000 Wikipedia page scheint es, dass die Kachel- und Wavelet-Transformationen leicht parallelisierbar sein sollten - die Kacheln scheinen voneinander unabhängig zu sein. Es gibt eine Open-Source-Bibliothek namens JasPer, die anscheinend ziemlich weit verbreitet ist, aber sie ist in C geschrieben, was die Integration in Hadoop etwas kompliziert macht.
Sie werden im Wesentlichen den Codec aus trennen müssen und ruft die entsprechenden Kacheln und ecoding Funktionen in der Karte Schritt und der reassemble und schreiben Sie das Bild im Schritt reduzieren. Es wird wahrscheinlich ein ziemlich tiefes Verständnis des JPEG 2000-Formats selbst erfordern.
Die Frage ist: wie viel Zeit verbringen Sie die unkomprimierten Daten bewegen und dann das Wiederzusammensetzen im Vergleich zu den Fliesen Verarbeitung seriell auf einer einzigen Maschine? Vielleicht möchten Sie die Berechnung der Hüllkurve etwas zurücknehmen, um zu sehen, ob es sich lohnt und was die theoretische Beschleunigung verglichen mit der Ausführung auf einer einzelnen Maschine wäre.
Die Bildgröße beträgt etwa 1 TB + und auf einem einzelnen Computer dauert es 100 Stunden + – portoalet
Ich bin neugierig, wenn jeder Fortschritt auf diesem Problem gemacht wurde? –