Ich habe einige Tabellen in Hive und mein Ziel ist es, eine Ansicht über sie zu erstellen und sie dann über Apache NiFi über ein Thema in Kafka zu veröffentlichen.Setze Daten von Hive-Tabellen zu kafka topic über nifi
Was sind die Optionen, um es zu erledigen?
Ich plane, es über Nifi zu tun.
Ich bin mir sicher, Nifi würde funktionieren, klingt aber nach viel Aufwand.
Kafka Connect HDFS kann Kafka-Daten konsumieren und automatisch eine Hive-Tabelle für Sie registrieren.
Oder sehen PutHiveStreaming Prozessor
Und wenn ich das falsch verstanden, und Sie versuchen, Hive abzufragen und zu einem Kafka Thema zu veröffentlichen, dann sicher - Nifi ist durchaus in der Lage, dass
Verwenden Sie SelectHiveQL und PublishKafka
Ich weiß, Nifi wird den Trick für Sie tun, können Sie bitte zeigen Sie mir in der Rechten Prozessoren Richtung, wie ich Schwierigkeiten habe in diesem Fall die richtigen zu finden. – user3148326
Put oder Consum Kakfa? SQL ausführen? Zumindest die Filterung auf Kafka oder SQL wird Ihnen vernünftige Ergebnisse bringen –