Ich interessiere mich für verteilte Bildverarbeitung. Ich habe einen Hadoop-Cluster von 32 Knoten und möchte Bilder auf Knoten verteilen, verarbeiten und dann das Ergebnis von jedem Knoten sammeln (mehr wie Map-Reduce). Bitte erläutern Sie alle Möglichkeiten der verteilten Bildverarbeitung (wie die Verwendung eines verteilten Matlab-Servers, die Verwendung eines Hadoop-Clusters usw.).So integrieren Sie Matlab mit Hadoop
Ich bin mir nicht sicher über Matlab und wie es Daten daraus exportieren kann, aber für Hadoop Seite würde ich Ihnen empfehlen, Hadoop Storm Service zu verwenden. Sie können ein Gateway für Ihre Bilder in Kafka Message Broker organisieren. Dort kannst du deine Bilder pushen. In Storm können Sie einen benutzerdefinierten Workflow für Ihre Bilder erstellen. Sie können zum Beispiel einige Computer Vision-Algorithmen auf ihnen ausführen oder sie einfach in HDFS oder HBase oder einem anderen relevanten Speicher speichern. Wenn Sie Daten von Mathlab nach Kafka exportieren können, vielleicht mit Hilfe eines eigenständigen Dienstes, dann ist Storm definitiv Ihr Weg.
MATLAB verfügt über eine mapreduce-Funktion, die Sie mit einem Hadoop-Cluster verwenden können. Dies wird here in der Dokumentation der Parallel Computing Toolbox beschrieben - die Seite zeigt Ihnen ein vollständiges Beispiel für die Ausführung von mapreduce auf einem Hadoop-Cluster. Sie benötigen eine Parallel Computing Toolbox-Lizenz auf Ihrem Desktop-Client und MATLAB Distributed Computing Server Lizenzen für Ihren Hadoop-Cluster.