Ich bin derzeit interessiert an der Durchführung Echtzeit-Datenanalyse mit Echtzeit-Flugzeug-Performance-Daten für Predictive Analysis. Mit welchen Werkzeugen und Technologien könnte ein solches System auf Forschungsebene implementiert werden?Beste Möglichkeit, Echtzeit-Datenanalysen zu machen
Für Echtzeit-Datenanalyse, wenn ich an Ihrer Stelle würde ich die folgenden Technologien
1) Kafka für Echtzeit-Daten Verschlucken wählen haben.
2) Spark-Streaming für Streaming Verarbeitung
3) Funken ML für maschinelles Lernen Algorithmen (Prediction)
4) Apache Zeppelin zur Visualisierung.
5) Datenspeicherung Sie können Hive oder HDFS verwenden nach Ihren Bedürfnissen
6) Ganglia für die Leistungsüberwachung
this helps !!! ...
Großartig! Vielen Dank. Und noch eine kurze Frage. Wenn ich mich streng auf das Hadoop-Ökosystem beschränken soll, was sind meine Möglichkeiten? Oder erlaubt es aufgrund von Map-Reduce strikt Batch-Verarbeitung? – TheShark
Ich würde sagen, HADOOP ist gut für die Batch-Verarbeitung nicht sehr gut für die Echtzeit-Verarbeitung, Spark wird Ihnen definitiv Echtzeit-Streaming-Verarbeitung sowie Vorhersagen (Machine Learning) in einem .. Ich sage Spark wird auf jeden Fall große Verarbeitung bieten wird eine gute Wahl !!! ... – Bhavesh
Vielen Dank für Ihren Kommentar! – TheShark
Hallo und herzlich willkommen auf Stack Overflow, lesen Sie, wie Sie ein [minimales, vollständiges und verifizierbares Beispiel] erstellen (https://stackoverflow.com/help/mcve) und prüfen Sie auch, wie Sie gute Fragen stellen können (https://stackoverflow.com/). help/how-to-ask), so erhöhen Sie Ihre Chancen, Feedback und nützliche Antworten zu erhalten. – DarkCygnus
Ich muss nur wissen, was die Werkzeuge und Technologien sein könnten, wie Sparks, Hive, HBase, Kafka könnte verwendet werden, um Echtzeit-Analysen zu machen? – TheShark
Das ist kein Thema für Stack-Überlauf, auch Ihre Frage ist nicht wirklich klar. Bitte lesen Sie die angegebenen Links, um den Grund zu erfahren, und bearbeiten Sie Ihre Frage nach Möglichkeit oder entfernen Sie sie. – DarkCygnus