Ich habe einen eingehenden Datenstrom (Daten, die von einer Website abgekratzt werden), die in verschiedene Systeme mit unterschiedlichen Formaten gehen müssen. Der Stream kommt sehr detailliert im JSON-Format an und sollte in ElasticSearch verschoben werden, aber einige Aggregate dieser Daten sollten einer relationalen Datenbank und sogar einer Graph-Datenbank hinzugefügt werden. Wäre das ein guter Anwendungsfall für Kafka/Storm bei Verbrauchern für ElasticSearch, Neo4J etc.? Außerdem möchte ich einige Informationen für mein Überwachungssystem aus dem anfänglichen Datenstrom ableiten, so dass ich möglicherweise auch einen Überwachungskonsumenten habe. Dies ist eher eine architektonische Frage, wenn es für diesen Anwendungsfall sinnvoll ist, etwas wie Kafka und Storm zu betrachten. Danke PhilippBaudatenpipeline mit Kafka, Storm und Elasticsearch
0
A
Antwort
1
Ja, das klingt wie ein guter Anwendungsfall Kafka für das Streaming von Daten und das Drücken dieser Daten in verschiedenen Datenbanken. Auf der Verarbeitungsseite haben Sie mehrere Optionen wie Storm, Flink, Spark, Sie können eine basierend auf Ihrem Anwendungsfall wählen
Verwandte Themen
- 1. Kafka Storm Integration mit Kafka Spout
- 2. Storm-Crawler und Elasticsearch Version
- 3. Storm Kafka Tülle, die keine Meldungen ausgibt
- 4. Storm: Kafka zu HDFS - Abhängigkeit Jar Probleme
- 5. Wie verbinde ich elasticsearch mit apache spark streaming oder storm?
- 6. Storm und Redis
- 7. Kafka zu Elasticsearch Verbrauch mit node.js
- 8. ich nicht in der Lage bin zu verbinden kafka zu Elasticsearch mit Kafka Elasticsearch Stecker
- 9. Apache Storm (lokal) keine Verbindung zu Apache Kafka (lokal)
- 10. Confusing Storm-UI
- 11. storm crawler - Technologie-Stack und Apache Nutch
- 12. Apache Storm: Unterstützung von Topic Wildcards im Kafka-Auslauf
- 13. Twisted Python von Kafka zu lesen und zu Elasticsearch
- 14. Storm zkRoot ist nicht erstellt
- 15. Gibt es eine CloudFormation Vorlage für DC/OS, ElasticSearch, Kafka Connect und Kafka Streams?
- 16. Storm latency verursacht durch ack
- 17. Wie schreibt man C++ - Storm und Thrift in Storm
- 18. Mit Storm in Cloudera
- 19. Fehler mit zoekeeper & storm
- 20. Was ist der Unterschied zwischen einem "Kafka Spout" und einem "Kafka Consumer"?
- 21. Storm und Spring 4 Integration
- 22. Storm Nachricht fehlgeschlagen
- 23. Apache Storm java.nio.channels.ClosedChannelException: null
- 24. Halten Sie die Reihenfolge in Kafka nach der Wiedergabe von Nachrichten mit Hilfe von Storm
- 25. Verbrauchen von Kafka 0.10.x Thema mit Storm 0.10.x (KafkaSpout)
- 26. Elasticsearch Indexnamen mit Datum
- 27. Flume Ausnahme, wenn kafka Kanal und kafka Spüle mit zusammen
- 28. Was sind die Hauptunterschiede zwischen logstash und apache storm/spark streaming?
- 29. Durchsatz für Kafka, Spark, Elasticsearch Stack unter GCP/Dataproc
- 30. kafka NoClassDefFoundError kafka/Kafka
Dank Sunil. Ich habe mir die Dokumente für Storm und Flink angeschaut. Als erste Reaktion würde ich sagen, ich mag Flink, die Beispiele aus der API lesen sich sehr intuitiv und ich denke, ich könnte die Fenstermechanismen recht gut gebrauchen. Es gibt jedoch noch weitere Fragen, die Flink mit Storm vergleichen. In Storm hast du offensichtlich eine Topologie, in der du eine Kette von Dingen zu definieren scheinst. Habe ich recht, wenn ich sage, dass Sie in Flink ein Programm haben würden, um eine Transformation durchzuführen und dann wieder in Kafka einfließen, und ein anderer Flink-Konsument würde es dann potenziell konsumieren und eine weitere Transformation durchführen? –