MongoDB als Datenquelle Flink

Question

Kann MongoDB als Datenquelle zu Apache Flink für die Verarbeitung der Daten-Streaming verwendet? Was ist die native Implementierung von Apache Flink zu verwenden No-SQL-Datenbank als Datenquelle?

Answer 1

Momentan hat Flink keinen dedizierten Konnektor zum Lesen von MongoDB. Was Sie tun können, ist das folgende:

• Verwenden StreamExecutionEnvironment.createInput und bietet einen Eingang Hadoop-Format für MongoDB Flink der Wrapper-Eingabeformat mit
• Implementieren Sie Ihre eigene MongoDB Quelle über SourceFunction/ParallelSourceFunction

ehemalige Umsetzung sollte Ihnen mindestens einmal Verarbeitungsgarantien geben, da die MongoDB-Sammlung im Falle einer Wiederherstellung vollständig neu gelesen wird. Abhängig von der Funktionalität des MongoDB-Clients können Sie möglicherweise genau einmal Verarbeitungsgarantien mit dem letzteren Ansatz implementieren.