Ich benutze Flink Streaming, um die Daten von Kafka zu lesen und die Daten zu verarbeiten. Bevor ich beim Programmstart von Kafka konsumiere, muss ich eine Datei mit einer DataSet-API lesen und die Datei anhand einiger Kriterien sortieren und daraus eine Liste erstellen. Dann fängt es an, von Kafka in einer strömenden Weise zu konsumieren. Ich habe eine Logik geschrieben, um die Daten aus einer Datei mit DataSet API zu lesen und zu sortieren. Aber wenn ich versuche, das Programm zu tun, wird es nie ausgeführt und der Flink fängt sofort an, von Kafka zu konsumieren. Gibt es eine Möglichkeit, den Datensatz zuerst zu bearbeiten und dann in Flink zu streamen?Kann ich die DataSet-API und die DataStream-API in demselben Flink-Job verwenden?
0
A
Antwort
1
Nein, es ist nicht möglich, die DataSet- und DataStream-APIs zu mischen. Sie können jedoch beide Programme von der gleichen main()
-Methode starten, aber das sortierte Ergebnis des DataSet-Programms in eine Datei schreiben, die vom DataStream-Programm verwendet wird.
0
Erstellen Sie einen weiteren Flink-Job für Ihre DataSet-Manipulation und versenken Sie die Ergebnisse an den Kafka, den Ihr Streaming-Job verbraucht.
Verwandte Themen
- 1. Pandas, die Zeilen mit demselben Wert und demselben Index zusammenführen
- 2. Kann i.field und by = in demselben data.table Ausdruck nicht verwenden
- 3. Kann ich mehrere Routen in demselben Laravel-Projekt verwenden?
- 4. Kann ich Bonjour über die Befehlszeile verwenden?
- 5. Wie kann ich die AngularJS-Hash-Option von $ q.all verwenden?
- 6. Kann ich die Schichtnormalisierung mit CNN verwenden?
- 7. Wie kann ich die Emacs-Dokumentation verwenden?
- 8. Wie kann ich die FileInfo-Klasse verwenden und PathTooLongException vermeiden?
- 9. Kann ich die Befehlszeilenwerkzeuge Git und TortoiseGit gleichzeitig verwenden?
- 10. Kann ich die vorhandene Socket-Verbindung verwenden?
- 11. Wie kann ich die Kinderselektoren hier verwenden?
- 12. Wie kann ich die XML-Datei verwenden, die von CoreNLP
- 13. Tests mit demselben Browsertyp gleichzeitig ausführen, die dieselben Cookies verwenden?
- 14. Kann ich Standardkonstanten exportieren und Aliase aus demselben Modul eingeben?
- 15. Kann ich die WordPress-Suche über die REST-API verwenden?
- 16. Kann ich zwei Klassen verwenden, die die Anwendung erweitern?
- 17. Mehrere Group_concats verwenden und in demselben Feld in MySQL
- 18. Kann ich startMonitoringSignificantLocationChanges, startMonitoringVisits und startMonitoringForRegion auf demselben CLLocationmanager aufrufen?
- 19. Warum kann ich keine innere Klasse mit zwei Ebenen und demselben Namen wie die Klasse, die sie enthält, haben?
- 20. Wie importiere ich die Python-Klassendatei aus demselben Verzeichnis?
- 21. Kann ich die Windows-Autorisierung in unserer VC++ - Anwendung verwenden?
- 22. Kann ich Ninject für die Prism-Ereignisaggregation in Silverlight verwenden?
- 23. Kann ich GPS für die Navigation in Innenräumen verwenden?
- 24. Kann ich die API-Bibliothek von Java in iMacros verwenden?
- 25. Kann ich die eingebettete hg-Befehlszeile in SourceTree verwenden?
- 26. Wie kann ich die Umgebungsvariable in der Hibernate-Konfigurationsdatei verwenden?
- 27. Kann ich die iPhone-Gesichtserkennung in Apps verwenden?
- 28. Wie kann ich die Lambda-Funktion in sich selbst verwenden?
- 29. Wie kann ich die Kompilierzeitkonstante __LINE__ in einem String verwenden?
- 30. Kann ich die sächsische Import-Abfrage in C# verwenden?
@ Fabian Hueske Ich habe beide Programme von der gleichen main() -Methode gestartet, aber jetzt, wenn ich den Job im Flink Dashboard ausführe, wird der Streaming-Job nie ausgelöst, nur das Dataset Program wird ausgeführt und flink sagt dann, dass der Job beendet ist . Warum wird das Streaming-Programm nicht nach Datensatz-Programm ausgelöst? Können Sie mich in diesem – Dhinesh
@ Fabian führen Könnten Sie mir bitte auf diese Frage helfen. https://stackoverflow.com/questions/46282692/match-based-on-some-property-between-two-data-streams-and-collect-all-based-on-m – Kumar