GlusterFS als Backend für Hadoop

Question

Ich habe gesehen, Redhat hat eine mögliche Lösung mit GlusterFS als Backend für Hadoop. In diesem Fall können Sie die Architektur mit dem Namen node/datanode aufrufen und durch glusterfs ersetzen, während Sie noch über die API-Kompatibilität von Hadoop Mapreduce verfügen.

Ich frage mich nur, wie sich die Leistung gegen native-HDFS vergleicht? Ist es wirklich produktionsreif? Unterstützt es auch das gesamte Hadoop-Ökosystem? z.B. Solr Cloud, Spark, Impala usw. usw.

Answer 1

Haftungsausschluss: Ich arbeite für Storage-Anbieter. Gut. Ich weiß nicht besonders viel über GlusterFS, aber ich kann über Lustre sprechen, da es POSIX am Ende des Tages ist. Es ist ein paralleles Dateisystem, aber die Benchmarks, die ich kürzlich untersucht habe, zeigten, dass es HDFS übertrifft. aber es ist definitiv eine produktionsfertige Alternative, die einen einzigen Namensplatz für Ihre Daten bietet (keine HDFS-Aufnahme mehr).

Was funktioniert heute vom Hadoop-Ökosystem? was ich in der Produktion heute gesehen habe, ist Spark, Hive, Hbase. Imapala sieht für mich bestimmte Teile von HDFS vor, deshalb funktioniert es nicht mit POSIX FS und es ist nicht HCFS. Ich habe einen schnellen Test gemacht, und ich konnte die Datenbank und alles erstellen, aber ich konnte keine Zeilen abrufen.

Lassen Sie mich, wenn Sie weitere Hilfe benötigen.