Replizieren MySQL zu Hadoop

Question

Ich bin für eine Open-Source-Suche MySQL zu Hadoop zu replizieren, fand ich zwei Optionen, aber

• Sqoop, Flume: nicht in Echtzeit UPDATE unterstützen, DELETE
• Wolfram: geschlossen Quelle und Preisgestaltung

also welche anderen Werkzeuge, um diese Anforderung zu erfüllen?

Answer 1

Mit Best of My Knowledge kann Kafka für Ihren Fall nützlich sein.

Kafka-mysql-connector ist ein Plugin, das Sie leicht zu replizieren MySQL Änderungen an Apache Kafka und von Kafka ermöglicht es Ihnen, HDFS oder HIVE laden

• Für eine MySQL-> Kafka Lösung auf Basis von Kafka Connect , sehen Sie sich das ausgezeichnete Debezium-Projekt an.

http://debezium.io/

• Für eine MySQL-> Kafka-Lösung, die eine eigenständige Anwendung, überprüfen Sie die ausgezeichnete Maxwell Projekt aus, auf denen dieser Connector basiert.

http://maxwells-daemon.io/

this helps

(Hinweis: Ich habe diese Lösung nicht verwendet, aber Sie können einen Versuch geben)